사법시험을 상위 10%로 통과한 GPT-4를 발표

2023년 3월 14일에 OpenAI가 GPT-4를 정식 발표했습니다. GPT-4는 텍스트뿐만 아니라 이미지 입력도 가눙한 Multimodal AI(Multimodal Artificial Intelligence로서 개발되고 있으며 영어 이외의 언어에서의 성능도 매우 고도의 영역에 도달하고 있다고 합니다.

GPT-4 Research
https://openai.com/research/gpt-4

GPT-4

GPT-4 Product
https://openai.com/product/gpt-4

OpenAI는 지금까지도 채팅 AI ChatGPT 등의 고성능 AI를 개발해 왔는데 이번에 발표된 GPT-4의 성능은 기존의 AI를 크게 웃돌고 있다고 합니다. OpenAI와 협력 관계에 있는 Microsoft는 GPT-4를 “iPhone의 최초 등장과 동등한 충격을 주는 존재”라고 평가했습니다.

GPT-3.5를 베이스로 한 ChatGPT는 사법시험에서 하위 10%에 들어가는 성능을 갖고 있었는대 GPT-4에서는 상위 10%에 들어가는 놀라움의 성능을 발휘한다는 것. OpenAI가 공개한 득점표를 확인하면 'Uniform Bar Exam', 'LSAT'와 같은 사법시험과 'SAT' 등의 학력테스트에서 GPT-4가 GPT-3.5를 크게 웃도는 득점을 기록하고 있습니다. 또 이러한 테스트는 테스트용의 특별한 튜닝을 하지 않고 진행되었다고 합니다.

AI의 성능을 평가하는 MMLU나 HellaSwag와 같은 벤치마크에서도 GPT-4는 GPT-3.5를 크게 웃도는 점수를 기록했습니다.

또한 GPT-4는 영어 이외의 언어에서도 높은 성능을 발휘합니다. 각 언어에서의 성능을 나타낸 이하의 그래프를 보면 GPT-4로 한국어를 처리했을 때의 성능이 GPT-3.5로 영어를 처리했을 때의 성능을 웃돌고 있음을 알 수 있습니다.

더해 GPT-4에서는 텍스트뿐만 아니라 이미지를 인식할 수 있습니다. 예를 들어 GPT-4에게 아래의 이미지의 평범하지 않은 점을 가르쳐 달라고 질문하면 '주행 중의 택시의 지붕에 설치된 거치대에서 다리미를 사용하고 있다'고 정확하게 대답해 줍니다.

GPT-3.5를 탑재한 ChatGPT에서는 소스코드를 써 준다는 조작이 가능했는데 GPT-4에서는 소스코드 기술기능이 향상되었고 상호작용하면서 소프트웨어를 완성시킬 수 있습니다. 실제로 GPT-4에 프로그래밍을 의뢰하는 모습은 아래의 영상에서 확인할 수 있습니다.

GPT-4 Developer Livestream - YouTube
https://www.youtube.com/watch?v=outcGtbnMuQ

영상에서는 GPT-4에 몇 가지 조건을 제시하면서 'Discord로 GPT-4와 대화할 수 있는 BOT를 만들어 달라'고 주문하자 GPT-4가 코드를 술술 기술해줍니다.

그러나 GPT-4가 기술한 코드를 실행해 보면 에러가 발생했고 GPT-4에 '이런 오류가 발생했다'고 알렸습니다.

그러면 사과하면서 수정판 코드를 기술해 주었습니다. 이런 작업을 반복하자 주문한 BOT이 완성되었습니다.

GPT-4는 이미 유료 서비스인 'ChatGPT Plus' 회원을 대상으로 공개되었습니다. 또한 아래의 링크에서 API 대기자 목록에 등록할 수 있습니다.

GPT-4 API waitlist
https://openai.com/waitlist/gpt-4-ap