728x90
반응형

머신러닝 2

colab에서 양방향 LSTM으로 대화 의도 파악하기

FAQ 챗봇을 직접 구현하기 위해서는 input되는 사용자의 대화 문장의 의도가 무엇인지, 대화 내에 핵심 개체명이 있는지, 그리고 답변을 적절하게 생성하는것이 중요합니다. 그 중에서 대화의 의도가 무엇인지 파악하는것은 대화를 진행시키는데 있어서 핵심적인 기능인데, 양방향 LSTM 모델로 colab 실행환경에서 예측해보겠습니다. 1. 필요한 라이브러리 불러오기 colab에서는 tensorflow를 최신 버전으로 지원해서 별도로 설치하지 않고 import 하여 사용할수 있는데, keras도 tensorflow 1,2에서부터 통합되어 tensorflow.keras 형태로 불러와서 사용할수 있습니다. 한가지 여담인데 colab에서 tensorflow가 자동 업데이트 되어서 원래는 잘 작동되었는데 갑자기 오류가..

졸업 프로젝트 2021.11.14

챗봇에서의 Mutinomial Naive bayes 알고리즘(다항 분포 나이브 베이즈), TF-IDF 적용

1. Multinomial Naive Bayes(다항 분포 나이브 베이즈) 알고리즘 우선 다항 분포 나이브 베이즈 알고리즘을 이해하기 전에, 나이브 베이즈 분류기의 기본 원리를 이해할 필요가 있다. 나이브 베이즈는 텍스트 분류를 위해 전통적으로 사용되는 분류기로 인공신경망 알고리즘에 속하지 않지만, 머신 러닝의 주요 알고리즘으로 분류되어 좋은 성능을 보여주는 조건부 확률모델이다. 원리는 조건부 확률을 계산하는 베이즈 정리에서 유도되었다. 베이즈 정리는 사후확률(Posterior Probability)=(가능성(Prior)*사전확률(Class Prior Probability)) /특정 개체가 나타날 확률(Predictor Prio Probability) 로, 다음과 같이 나타낼수 있다. 이때 x를 형성하는..

졸업 프로젝트 2021.05.28
728x90
반응형