makeBCT

#AI #OpenAI #Chatbot #Cloud #WordPress

Bct ai Chatbot 추천기능 (파인콘)

https://snco2023.mycafe24.com/

bizhomepass.kr

파인콘 + Openai 언어모델

파인콘 과 언어모델을 사용하는 방법입니다. 방식은 다음과 같습니다.

우선 파인콘 데이터에 상품 정보를 입력합니다.

워드프레스 게시물 작성 후 위 버튼 Instant Embedding을 클릭하면 해당 파인콘 계정에 백터값으로 변환 후 저장됩니다.

다음 챗봇 세팅중 ‘use Embeddings’ 활성화 시키고, ‘Method’를 ‘Embeggings + Chat’으로 설정합니다.

이제 사용자가 질문을 입력하면, 사용자의 질문을 백터값으로 바꾼 후 파인콘 계정에서 질문에 근접하는 백터값을 찾습니다.

근접한 백터값을 찾으면 해당 게시물의 내용과 사용자의 질문을 채팅모델로 전송합니다.

Openai 채팅모델에서는 해당 포스트 내용 과 사용자의 질문을 받고, 답변을 출력해줍니다.

파인콘을 활용해서 제품을 추천받을때, 문제점이 있습니다. 파인콘은 단 하나의 벡터 값만 제공해서 여러가지 상품을 비교할 수 없다는 점 입니다. 그래서 상품추천 보다는 Q&A에 좋은 성능이 나올 것 같습니다.

LLM 데이터 확장방법

*fine tuning (미세조정)

언어모델 데이터에 사용자가 원하는 데이터를 추가하는 방법 중 하나입니다. Openai 기준으로 기존의 언어모델에 추가 적인 데이터를 추가 후 새로운 언어 모델을 만드는 기술을 말합니다. 하지만 데이터를 추가 할때 정해진 양식이 있습니다.

*In-Context Learning (zero-shot, few-shot)

zero-shot은 예시가 없이 task 가 주어졌을때 수행가능한 경우를 의미합니다. GPT 와 같은 언어모델들이 unsupervised learning 을 수행하나, GPT-2 이후부터 task 에 대한 학습이 이루어졌기에 대부분의 nlp task 들은 별도의 in-context learning 없이 zero-shot 으로 수행가능합니다. 번역이나, 요약, 분류등의 task 등이 zero-shot 으로 수행가능한 부분들입니다.

few-shot은 많은 예시를 던져주고, 언어모델이 예측 할 수있도록 답변을 유도하는 경우입니다. 예를 들어 그저 ‘미국’ 이라는 질문을 언어모델에게 한다면 다음과 같은 답변을 줍니다.

하지만 예시와 함께 ‘미국’이라는 질문을 하면 다음과 같은 답변을 줄 수 있습니다.

*RAG(Retrieval Augmented Generation)

RAG란 무엇인가?

RAG는 외부 소스에서 가져온 정보로 생성형 AI 모델의 정확성과 신뢰성을 향상시키는 기술이다.

즉, LLM의 작동 방식에서 부족한 부분을 채워주는 기술이다. LLM은 내부적으로 신경망이며, 일반적으로 얼마나 많은 매개변수가 포함되어 있는지에 따라 측정된다. LLM의 매개변수는 기본적으로 인간이 단어를 사용해 문장을 구성하는 일반적인 패턴을 나타낸다.

‘매개변수화된 지식’이라고도 하는 이러한 심층적인 이해 덕분에, LLM은 일반적인 프롬프트에 빠른 속도로 응답하는 데 유용하다. 그러나 최신 주제나 특정 주제에 대해 더 깊이 알고 싶어하는 사용자에게는 적합하지 않을 수 있다.

인기 글

Ubuntu 22.04 LTS에 Python 3.8 or 3.9 설치 방법
서버 : Vultr 클라우드OS: Ubuntu 22.04 LTS사용자 계정 생성하여 설치 진행함 1. Start with the system update sudo apt update...
사용자 작성 모듈 import 시 에러)(ModuleNotFoundError: No module named
파이썬 모듈을 만들고 테스트 할 때 ModuleNotFoundError: No module named 에러가 발생한 경우 원인 파이썬은 모듈을 불러올 때 모듈 설치 경로와 자신의...
WSL2/Ubuntu 22.04 LTS에 Anaconda 설치 
WSL2/Ubuntu 환경에서 Python 버전별로 가상환경을 만드는 방법 중 그나마 Anaconda 방법이 좋은 것 같네요. 설치 방법은 간단합니다. 1. apt update 사용자...
AWS 인스턴스 유형 변경 방법
AWS 인스턴스 유형을 변경하기 위한 방법에는 다음 2가지가 있습니다.   1. 첫 번째 방법 AMI 이미지 생성 후 해당 이미지를 복원하여 신규 EC2 인스턴스를 생성하는...
Ubuntu 20.04에 MySQL 5.7 설치
비씨티원 인공지능 서비스 플랫폼 BAP(Bctone AI service Platform)의 설치 환경은 공식적으로 Ubuntu 18.04와 MySQL 버전 5.7 입니다. 최근 Ubuntu...