중국의 연구팀이 새로운 AI '悟道2.0'을 발표...매개변수의 개수는 1조 7500억 개로 Google과 OpenAI 모델을 능가
중국 정부의 재정 지원을 받는 베이징지원인공지능연구원이 주도하는 연구팀이 2021년 6월 1일 새로운 사전학습모델인 '悟道2.0(WuDao 2.0)'을 발표했습니다. 悟道2.0은 1조 7500억 개의 매개변수를 사용하고 있는데, 이것은 OpenAI 또는 Google 산하 Google Brain이 개발한 사전학습모델을 웃도는 숫자라고 합니다.
US-China tech war: Beijing-funded AI researchers surpass Google and OpenAI with new language processing model | South China Morning Post
https://www.scmp.com/tech/tech-war/article/3135764/us-china-tech-war-beijing-funded-ai-researchers-surpass-google-and
Beijing-funded AI language model tops Google and OpenAI in raw numbers
The WuDao 2.0 natural language processing model had 1.75 trillion parameters, topping similar models developed in the US as China pushes to close in on its rival in critical technologies.
www.scmp.com
China's gigantic multi-modal AI is no one-trick pony | Engadget
https://www.engadget.com/chinas-gigantic-multi-modal-ai-is-no-one-trick-pony-211414388.html
China's gigantic multi-modal AI is no one-trick pony | Engadget
Researchers from the Beijing Academy of Artificial Intelligence announced on Tuesday the release of Wu Dao, a mammoth AI seemingly capable of doing everything GPT-3 can do, and more..
www.engadget.com
China Says WuDao 2.0 AI Is an Even Better Conversationalist than OpenAI, Google | Tom's Hardware
https://www.tomshardware.com/news/china-touts-wudao-2-ai-advancements
China Says WuDao 2.0 AI Is an Even Better Conversationalist than OpenAI, Google
Process this.
www.tomshardware.com
悟道2.0은 비영리 연구기관인 베이징지원인공지능연구원을 중심으로 여러 기관에 소속된 100여 명의 연구진에 의해 개발된 심층학습모델입니다. 매개변수 개수는 1조 7500억 개에 달하며 OpenAI가 2020년 6월에 발표한 언어처리모델 'GPT-3'의 1750억 개나 Google Brain가 개발한 언어처리모델 'Switch Transformer'의 최대치인 1조 6000억 개를 웃도는 것이라고 베이징지원인공지능연구원의 연구자들은 주장합니다.
매개변수는 기계학습 모델에 의해 정의되는 변수이며, 학습을 통해 모델이 진화함에 따라 매개변수가 정밀해져 더 정확한 결과를 얻을 수 있습니다. 따라서 일반적으로 모델에 포함된 매개변수의 수가 많을수록 기계학습 모델이 정밀해지는 경향이 있습니다.
悟道2.0 총 4.9TB의 텍스트 및 이미지 데이터로 훈련되었으며, 이 훈련 데이터는 중국어와 영어 텍스트를 각각 1.2TB씩 포함합니다. 또 이미지 생성 및 얼굴인식 등의 특정 작업에 특화된 심층 생성모델과 달리 에세이와 시를 쓰고 정지 이미지를 보충하는 문장을 생성하거나 문장의 설명에 따라 이미지를 생성할 수도 있다고 합니다.
베이징의 AI연구자인 Blake Yan 씨는 "거대한 데이터세트로 훈련된 이러한 정교한 모델은 특정 기능을 사용할 경우, 소량의 새로운 데이터만으로 충분합니다. 왜냐하면 인간처럼 한번 학습한 지식을 새로운 작업에 전용할 수 있기 때문입니다"라고 설명합니다. 이미 悟道2.0은 스마트폰 제조사 Xiaomi를 비롯한 22개 기업과 제휴하였다고 사우스차이나 모닝포스트가 전했습니다.
베이징지원인공지능연구원 Zhang Hongjiang 원장은 "대규모 사전학습모델은 범용 인공지능으로 향하는 최선의 지름길 중 하나"라며 悟道2.0가 범용 인공지능의 개발을 고려한 것이라는 점을 시사했습니다.
중국 정부는 베이징지원인공지능연구원에 많은 투자를 했는데, 2018년과 2019년에만 3억 4000만위안(약 585억 원)의 자금을 제공했다고 합니다. 미국 정부도 2020년에 AI와 양자컴퓨팅에 1조 원의 투자를 발표하는 등 미중간의 기술경쟁은 격화일로입니다.
기술계열 미디어 Tom's Hardware는 悟道2.0의 발표에 대해, AI의 성능에 있어서는 매개변수의 수 외에도 데이터세트의 양이나 내용도 중요하다고 지적합니다. 예를 들어 GPT-3는 불과 570GB의 데이터로 훈련했지만, 이 데이터는 45TB의 데이터세트를 사전처리한 것이라는 것. 따라서 悟道2.0과 관련된 수치는 인상적이지만 모델의 성능을 나타내는 것은 아니라고 설명합니다.
