makeBCT

#AI #OpenAI #Chatbot #Cloud #WordPress

GPT3.5 모델로 약 1만개 데이터 학습 비용

개발중인 BCT AI Chatbot을 v0.6.0으로 업데이트 하면서 GPT3.5를 기본 학습 모델로 채택하였습니다. 기능을 업그레이드 하고 나니 뭔가 세게 테스트해 보고 싶다는 생각이 들어 프로젝트 중인 업체 데이터 1만개를 학습 시켜 보았습니다.

데이터 형식은 다음과 같습니다.

데이터 학습 과정은 다음과 같습니다.

1. CSV 포맷
2. 워드프레스 커스텀 포스트 타입 생성
3. CSV 데이터를 생성한 워드프레스 커스텀 포스트 타입으로 임포트
4. 워드프레스 커스텀 포스트 타입 데이터를 jsonl 타입으로 변환 (Data Converter)
5. 파인-튜닝 진행

최종 학습 완료된 결과는 다음과 같습니다.

OpenAI GPT3.5 모델을 사용하여 데이터를 학습하다 보니 1만개 데이터 학습 비용이 얼마나 나올지 궁금하지 않을 수 없었는데요, 대략 $20 정도 나오는 것 같습니다.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

인기 글

사용자 작성 모듈 import 시 에러)(ModuleNotFoundError: No module named
파이썬 모듈을 만들고 테스트 할 때 ModuleNotFoundError: No module named 에러가 발생한 경우원인파이썬은 모듈을 불러올 때 모듈 설치 경로와 자신의...
오라클 클라우드 OCI 가입 드디어 성공 했습니다 (상세 후기)
2023년 2월 16일에 ‘오라클 클라우드 지급 검증 실패 글‘을 남긴 적이 있습니다.그 때 검색을 통해 해결 방법을 찾아 보았고, 당시 성공했던 분들의...
Permission denied (publickey) 해결 방법
Plesk에서 생성된 system user로 ftp 접속 시 다음과 같은 에러 메시지가 발생하면서 접속이 되지 않습니다.상태: 152.67.193.32:49152에 연결... 응답: fzSftp...
WSL2/Ubuntu 22.04 LTS에 Anaconda 설치 
WSL2/Ubuntu 환경에서 Python 버전별로 가상환경을 만드는 방법 중 그나마 Anaconda 방법이 좋은 것 같네요. 설치 방법은 간단합니다.1. apt update사용자...
AWS 인스턴스 유형 변경 방법
AWS 인스턴스 유형을 변경하기 위한 방법에는 다음 2가지가 있습니다.   1. 첫 번째 방법 AMI 이미지 생성 후 해당 이미지를 복원하여 신규 EC2 인스턴스를 생성하는...

BCT Ai Chatbot

답변을 준비중입니다 . . .