그린푸딩

FAQ 챗봇을 직접 구현하기 위해서는 input되는 사용자의 대화 문장의 의도가 무엇인지, 대화 내에 핵심 개체명이 있는지, 그리고 답변을 적절하게 생성하는것이 중요합니다. 그 중에서 대화의 의도가 무엇인지 파악하는것은 대화를 진행시키는데 있어서 핵심적인 기능인데, 양방향 LSTM 모델로 colab 실행환경에서 예측해보겠습니다. 1. 필요한 라이브러리 불러오기 colab에서는 tensorflow를 최신 버전으로 지원해서 별도로 설치하지 않고 import 하여 사용할수 있는데, keras도 tensorflow 1,2에서부터 통합되어 tensorflow.keras 형태로 불러와서 사용할수 있습니다. 한가지 여담인데 colab에서 tensorflow가 자동 업데이트 되어서 원래는 잘 작동되었는데 갑자기 오류가..

1. Multinomial Naive Bayes(다항 분포 나이브 베이즈) 알고리즘 우선 다항 분포 나이브 베이즈 알고리즘을 이해하기 전에, 나이브 베이즈 분류기의 기본 원리를 이해할 필요가 있다. 나이브 베이즈는 텍스트 분류를 위해 전통적으로 사용되는 분류기로 인공신경망 알고리즘에 속하지 않지만, 머신 러닝의 주요 알고리즘으로 분류되어 좋은 성능을 보여주는 조건부 확률모델이다. 원리는 조건부 확률을 계산하는 베이즈 정리에서 유도되었다. 베이즈 정리는 사후확률(Posterior Probability)=(가능성(Prior)*사전확률(Class Prior Probability)) /특정 개체가 나타날 확률(Predictor Prio Probability) 로, 다음과 같이 나타낼수 있다. 이때 x를 형성하는..

1. 설치하기 위와 같은 코드를 실행시켜 konlpy 의 mecab을 설치한다. 설치가 완료되면 여러 메세지가 뜨는데 마지막에 다음과 같은 메세지가 뜬다. 설치가 완료되었으면 konlpy를 import 하여 mecab 형태소 분석기를 통하여 형태소 분석을 할 수 있다. 2. Mecab 사용법 우선 konlpy 홈페이지에 가면 한국어 형태소 분석을 지원하는 여러 형태소 분석기와 사용법을 확인할 수 있다. https://konlpy.org/en/latest/ 오픈소스 형태이어서 형태소 분석기가 쓰이는 상황에 따라 형태소 분석기를 비교해서 사용해 볼 수 있다. API 메뉴에서 Mecab class로 가면 간단한 예제와 함께 mecab으로 할 수 있는 기능들을 확인할 수 있다. mecab.morphs(sente..