makeBCT

#AI #OpenAI #Chatbot #Cloud #WordPress

GPT3.5 모델로 약 1만개 데이터 학습 비용

개발중인 BCT AI Chatbot을 v0.6.0으로 업데이트 하면서 GPT3.5를 기본 학습 모델로 채택하였습니다. 기능을 업그레이드 하고 나니 뭔가 세게 테스트해 보고 싶다는 생각이 들어 프로젝트 중인 업체 데이터 1만개를 학습 시켜 보았습니다.

데이터 형식은 다음과 같습니다.

데이터 학습 과정은 다음과 같습니다.

1. CSV 포맷
2. 워드프레스 커스텀 포스트 타입 생성
3. CSV 데이터를 생성한 워드프레스 커스텀 포스트 타입으로 임포트
4. 워드프레스 커스텀 포스트 타입 데이터를 jsonl 타입으로 변환 (Data Converter)
5. 파인-튜닝 진행

최종 학습 완료된 결과는 다음과 같습니다.

OpenAI GPT3.5 모델을 사용하여 데이터를 학습하다 보니 1만개 데이터 학습 비용이 얼마나 나올지 궁금하지 않을 수 없었는데요, 대략 $20 정도 나오는 것 같습니다.

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

인기 글

Ubuntu 22.04 LTS에 Python 3.8 or 3.9 설치 방법
서버 : Vultr 클라우드OS: Ubuntu 22.04 LTS사용자 계정 생성하여 설치 진행함 1. Start with the system update sudo apt update...
AWS 인스턴스 유형 변경 방법
AWS 인스턴스 유형을 변경하기 위한 방법에는 다음 2가지가 있습니다.   1. 첫 번째 방법 AMI 이미지 생성 후 해당 이미지를 복원하여 신규 EC2 인스턴스를 생성하는...
사용자 작성 모듈 import 시 에러)(ModuleNotFoundError: No module named
파이썬 모듈을 만들고 테스트 할 때 ModuleNotFoundError: No module named 에러가 발생한 경우 원인 파이썬은 모듈을 불러올 때 모듈 설치 경로와 자신의...
Input error: k: Format of site key was invalid 에러 해결 방법
WP-Members 워드프레스 플러그인을 활용해서 회원가입 기능을 구현 하였는데, 다음과 같은 에러가 발생 하였습니다.         이는 WP-Members의...
오라클 클라우드 OCI 가입 드디어 성공 했습니다 (상세 후기)
2023년 2월 16일에 ‘오라클 클라우드 지급 검증 실패 글‘을 남긴 적이 있습니다. 그 때 검색을 통해 해결 방법을 찾아 보았고, 당시 성공했던 분들의...