ChatGPT

ChatGPT란

GPT(Generative Pre-trained Transformer)-3는 OpenAI에서 공개한 트랜스포머 구조 기반의 사전 학습된 언어 생성 모델로, 인간과 유사한 텍스트를 생성할 수 있다.

https://jobdahan-tech.tistory.com/entry/Transformer

Transformer

GPT-3는 약 1750억 개의 파라미터를 가지고, 메타 학습(Meta learning)과 인간의 피드백을 통한 강화 학습(Reinforcement learning)을 수행하여 더욱 인간과 유사하며 정확한 답변을 생성한다.

 

ChatGPT는 GPT-3를 챗봇 기능에 특화시키고, 모델의 윤리성을 보완한 모델이며 GPT-3.5라고도 한다.

 

Meta Learning

메타 학습은 GPT가 추가적인 학습을 할 필요 없는 이유로 학습 데이터에 없었던 데이터에 대해서도 자체적인 유사도 계산을 통해 분류가 가능하도록 학습한다.(Learning to learn)

zero/one/few-shot learning은 적은 수의 샘플 만으로 답변을 예측할 수 있도록 학습하므로 미세 조정(fine-tuning) 없이 간단한 instruction/example만으로도 문맥에 맞는 답변을 유추할 수 있다.

 

RLHF(Reinforcement learning from human feedback)

GPT가 사람과 유사한 답변을 할 수 있는 이유로 GPT-3는 사람이 직접 답변 생성 결과에 score를 매기고, 이를 별도의 보상 모델(Reward model)을 이용해 높은 score를 가지는 방향으로 학습한다.

 

ChatGPT API 사용법

1. https://platform.openai.com/overview 접속 & 로그인

2. 프로필 클릭 후 Manage account 클릭

2. User -> API Keys 메뉴에서 API Key 발급 (API Key는 생성시에만 확인 가능하므로 백업 필수)

3. Billing -> Payment methods -> Add Payment method 메뉴에서 결제 카드 정보 등록(등록 완료시 자동으로 허용 한도 내 API 사용 가능)

4. Billing -> Usage limits 메뉴에서 월 사용량 한도 설정

5. ChatGPT API 설치

- pip install openai를 실행하여 OpenAI 라이브러리 설치

- API Key 설정

6. ChatGPT 생성 모듈 구성 요소 설정

- system: 챗봇이 어떤 방향으로 답변을 할 지 결정

- user: 사용자의 입력 텍스트

- assistant: 챗봇의 이전 답변, 이전 답변을 바탕으로 대화를 이어나갈 수 있음

7. 챗봇 구현

- 챗봇의 답변을 다시 챗봇 모듈에 넣어 대화가 지속될 수 있게 함

 

Reference

https://platform.openai.com/overview

OpenAI API