개발중인 BCT AI Chatbot을 v0.6.0으로 업데이트 하면서 GPT3.5를 기본 학습 모델로 채택하였습니다. 기능을 업그레이드 하고 나니 뭔가 세게 테스트해 보고 싶다는 생각이 들어 프로젝트 중인 업체 데이터 1만개를 학습 시켜 보았습니다.

데이터 형식은 다음과 같습니다.

데이터 학습 과정은 다음과 같습니다.

1. CSV 포맷
2. 워드프레스 커스텀 포스트 타입 생성
3. CSV 데이터를 생성한 워드프레스 커스텀 포스트 타입으로 임포트
4. 워드프레스 커스텀 포스트 타입 데이터를 jsonl 타입으로 변환 (Data Converter)
5. 파인-튜닝 진행

최종 학습 완료된 결과는 다음과 같습니다.

OpenAI GPT3.5 모델을 사용하여 데이터를 학습하다 보니 1만개 데이터 학습 비용이 얼마나 나올지 궁금하지 않을 수 없었는데요, 대략 $20 정도 나오는 것 같습니다.