https://snco2023.mycafe24.com/
파인콘 + Openai 언어모델
파인콘 과 언어모델을 사용하는 방법입니다. 방식은 다음과 같습니다.
우선 파인콘 데이터에 상품 정보를 입력합니다.
워드프레스 게시물 작성 후 위 버튼 Instant Embedding을 클릭하면 해당 파인콘 계정에 백터값으로 변환 후 저장됩니다.
다음 챗봇 세팅중 ‘use Embeddings’ 활성화 시키고, ‘Method’를 ‘Embeggings + Chat’으로 설정합니다.
이제 사용자가 질문을 입력하면, 사용자의 질문을 백터값으로 바꾼 후 파인콘 계정에서 질문에 근접하는 백터값을 찾습니다.
근접한 백터값을 찾으면 해당 게시물의 내용과 사용자의 질문을 채팅모델로 전송합니다.
Openai 채팅모델에서는 해당 포스트 내용 과 사용자의 질문을 받고, 답변을 출력해줍니다.
파인콘을 활용해서 제품을 추천받을때, 문제점이 있습니다. 파인콘은 단 하나의 벡터 값만 제공해서 여러가지 상품을 비교할 수 없다는 점 입니다. 그래서 상품추천 보다는 Q&A에 좋은 성능이 나올 것 같습니다.
LLM 데이터 확장방법
*fine tuning (미세조정)
언어모델 데이터에 사용자가 원하는 데이터를 추가하는 방법 중 하나입니다. Openai 기준으로 기존의 언어모델에 추가 적인 데이터를 추가 후 새로운 언어 모델을 만드는 기술을 말합니다. 하지만 데이터를 추가 할때 정해진 양식이 있습니다.
*In-Context Learning (zero-shot, few-shot)
zero-shot은 예시가 없이 task 가 주어졌을때 수행가능한 경우를 의미합니다. GPT 와 같은 언어모델들이 unsupervised learning 을 수행하나, GPT-2 이후부터 task 에 대한 학습이 이루어졌기에 대부분의 nlp task 들은 별도의 in-context learning 없이 zero-shot 으로 수행가능합니다. 번역이나, 요약, 분류등의 task 등이 zero-shot 으로 수행가능한 부분들입니다.
few-shot은 많은 예시를 던져주고, 언어모델이 예측 할 수있도록 답변을 유도하는 경우입니다. 예를 들어 그저 ‘미국’ 이라는 질문을 언어모델에게 한다면 다음과 같은 답변을 줍니다.
하지만 예시와 함께 ‘미국’이라는 질문을 하면 다음과 같은 답변을 줄 수 있습니다.
*RAG(Retrieval Augmented Generation)
RAG란 무엇인가?
RAG는 외부 소스에서 가져온 정보로 생성형 AI 모델의 정확성과 신뢰성을 향상시키는 기술이다.
즉, LLM의 작동 방식에서 부족한 부분을 채워주는 기술이다. LLM은 내부적으로 신경망이며, 일반적으로 얼마나 많은 매개변수가 포함되어 있는지에 따라 측정된다. LLM의 매개변수는 기본적으로 인간이 단어를 사용해 문장을 구성하는 일반적인 패턴을 나타낸다.
‘매개변수화된 지식’이라고도 하는 이러한 심층적인 이해 덕분에, LLM은 일반적인 프롬프트에 빠른 속도로 응답하는 데 유용하다. 그러나 최신 주제나 특정 주제에 대해 더 깊이 알고 싶어하는 사용자에게는 적합하지 않을 수 있다.