[인공지능] 대화형 인공지능 챗봇 모델: ChatGPT

[인공지능] 대화형 인공지능 챗봇 모델: ChatGPT

 

[인공지능] 대화형 인공지능 챗봇 모델: ChatGPT 에 대해 리뷰하려고 합니다.

 

2022년 11월 OpenAI가 발표한 ChatGPT 혁신이 계속되는데, ChatGPT 대화형 인공지능 모델구조가 어떤지 확인해 보았네요. 

 

ChatGPT는 프롬프트 대화형 InstructGPT 를 기반으로, 대규모 언어분석의 회귀형 모델인 LLM (Large Language Model) 및 Auto-Regressive 기능이 결합되어, 방대한 언어 데이터베이스를 학습하는 것으로 정리할 수 있을 듯 합니다. 

 

ChatGPT 모델 구조

 

 

ChatGPT 는 프롬프트의 지시를 따르고 자세한 응답을 제공하도록 훈련된 InstructGPT 의 형제 모델로 판단되며, InstructGPT와 동일한 방법을 사용하지만 데이터 수집 설정이 약간 다른 RLHF(Reinforcement Learning from Human Feedback)를 사용하여 이 모델을 교육한 것으로 보이며, 최종 ChatGPT는 GPT-3.5 시리즈 의 모델에서 미세 조정되었네요.

 

여기에서 이해해야 할 중요한 상위 개념이 2개 있네요.

 

 

회귀모델 LLM, 시퀸스 미래결과 예측 알고리즘

첫째는 GPT-3, Generative Pre-Trained Transformer는 채팅 완성 작업을 수행하기 위해 OpenAI에서 개발한 모델로 프롬프트가 주어지면 프롬프트를 완료하고, 해당 시퀀스에서 이전에 관찰된 결과를 기반으로 시퀀스의 미래 결과를 예측하는 회귀모델 LLM 입니다.

 

LLM은 사람이 생성한 텍스트의 방대한 공개 코퍼스에서 토큰의 통계적 분포에 대한 생성 수학적 모델로, 여기서 문제의 토큰에는 단어, 단어의 일부 또는 문장 부호를 포함한 개별 문자가 포함됩니다. 샘플을 추출할 수 있기 때문에 생성적인데, 즉, 구체적인 질문을 할 수 있네요.

“여기 텍스트 조각이 있는데, 이 조각이 어떻게 될지 말해주세요. 당신의 인간 언어 통계 모델에 따르면, 다음에 어떤 단어가 나올 것 같습니까?” 이것이 대규모 언어 모델이 실제로 수행하는 작업임을 명심하는 것이 매우 중요합니다.  LLM에 "The first person to walk on the Moon was"라는 프롬프트를 제공하고 "Neil Armstrong"으로 응답한다고 가정합니다. 여기서 우리가 정말로 요구하는 것은 무엇일까요? 

중요한 의미에서, 우리는 실제로 누가 달 위를 걸은 최초의 사람인지 묻고 있는 것이 아니고, 실제로 묻고 있는 것은 다음과 같은 질문입니다.  영어 텍스트의 방대한 공개 코퍼스 Corpus에서 단어의 통계적 분포를 고려할 때 "The first person to walk on the Moon was"라는 시퀀스를 따를 가능성이 가장 높은 단어는 무엇입니까? 이 질문에 대한 좋은 대답이 "닐 암스트롱"입니다.

 

 

앙상블 기반 언어모델, 언어 데이터를 강화학습 알고리즘

둘째는 ChatGPT가 어떻게 개발되었는지 확실히 알지 못하지만, 유사한 모델인 InstructGPT의 상위 수준 세부 정보와 하위 수준 세부 정보는 오픈되었는데, 즉 ChatGPT가 앙상블 및 다단계로 구성된 대규모 언어 모델이라는 것입니다.  이 모델은 강화 학습을 사용하여 미세 조정되는데, 강화 학습은 에이전트(이 경우 모델)가 이전의 올바른 행동에 대한 피드백으로 기능을 학습하여 올바른 행동으로 커렉션하도록 하는 머신러닝 기술입니다. 

 

품질별로 순위가 매겨진 두 개 이상의 모델 응답으로 구성된 비교 데이터를 수집하는데, 이 데이터를 수집하기 위해 AI 트레이너가 챗봇과 대화를 하게 됩니다. 모델 작성 메시지를 무작위로 선택하고 몇 가지 대체 완료를 샘플링하고, AI 트레이너가 순위를 매겼고, 이러한 보상 모델을 사용하여 Proximal Policy Optimization을 사용하여 모델을 미세 조정할 수 있고, 이 프로세스를 여러 번 반복하는 방식입니다.

 

 

ChatGPT 원리

 

 

 

 

[전략] 인공지능 언어모델 챗봇: ChatGPT by OpenAI

[전략] 대화형 인공지능: 구글 바드 vs MS ChatGPT