생성 AI의 비약적 성능 향상의 비밀 'Grokking'

ChatGPT 등의 뛰어난 AI 모델을 개발하는 AI 연구단체인 OpenAI가 발견한 딥러닝에서 가장 매력적인 수수께끼 중 하나인 'Grokking'에 대해 Google의 AI 연구자가 위상변화와의 관계를 설명했습니다.

Progress measures for grokking via mechanistic interpretability
https://arxiv.org/abs/2301.05217

A Mechanistic Interpretability Analysis of Grokking - AI Alignment Forum
https://www.alignmentforum.org/posts/N6WM6hs7RQMKDhYjB/a-mechanistic-interpretability-analysis-of-grokking

신경망에서는 파라미터 트레이닝 데이터, 트레이닝 스텝 등을 스케일업함으로써 새로운 동작을 나타내는 경우가 많습니다. 이를 이해하기 위한 접근법 중 하나는 '일견 불연속하게 보이는 질적변화의 근본적인 지속적인 발전의 척도를 찾는 것'입니다.

Google 산하의 AI 연구회사인 Google DeepMind의 닐 난다 씨는 이 '진보의 척도'를, 학습된 행동을 개별 컴포넌트에 리버스 엔지니어링함으로써 발견될 수 있다고 보고 AI연구단체인 OpenAI가 발견한 'Grokking'이라고 불리는 현상에 대한 조사를 실시했습니다.

by Google DeepMind / https://unsplash.com/ja/%E5%86%99%E7%9C%9F/LIlsk-UFVxk

OpenAI가 발견한 'Grokking'이라는 현상에 대해 연구팀은 모듈러 가산과 같은 간단한 작업을 수행하도록 훈련된 소규모 AI모델은 처음에는 훈련 데이터를 기록하지만 오랜 시간이 경과하면 갑자기 이전에 보지 못한 데이터로 범화를 하게 된다고 설명했습니다. 범화란 트레이닝으로 얻은 정보를 새로운 문제에 맞추어 회답하는 상태를 말합니다.

연구팀은 Grokking이 위상변화와 깊은 관계가 있다고 보는데, 위상변화는 트레이닝 중에 어떤 능력에 대해 모델의 성능이 급격히 변화하는 것을 의미하며, 모델을 트레이닝할 때 발생하는 일반적인 현상입니다.

아래의 그래프는 모듈러 가산을 실행하도록 트레이닝된 소규모 AI 모델로 반복 트레이닝을 계속했을 때의 트레이닝 횟수(가로축)와 모델의 출력의 오답(세로축)을 정리한 것으로 트레이닝 횟수가 1000회에 도달하기 전의 타이밍에서 오답이 급격히 줄어들어 큰 변화가 일어나는 것을 알 수 있습니다.

게다가 범화할 수 있는 충분한 데이터를 정규화해 추가하면 이 변화가 Grokking으로서 나타난다고 연구팀은 보았습니다.

위상변화가 일어나는 것은 일반적인 해결책을 모델이 도출하는 것이 "어려워서"라고 난다 씨는 말합니다.

연구팀은 모델이 위상변화에 도달하는 데 오랜시간이 걸리는 이유는 교육의 오답에 대한 무언가가 영향을 미치고 있기 때문이라고 합니다. 반면에 어떤 사건을 기록하는 것만으로는 매우 간단하기 때문에 모델은 먼저 훈련내용을 기록합니다.

모델은 위상변화가 일어나 오답을 줄일 때까지 데이터의 처리를 기록에서 범화로 천천히 보완해 갑니다. 기록에서 범화로의 보완이 끝나면 출력결과가 극적으로 변화하는 위상변화가 일어납니다.

난다 씨는 “우리는 위상변화를 완전히 이해하지는 않지만 Grokking에 대한 혼란을 위상변화에 대한 혼란으로 대체할 수 있다"고 보았습니다.

덧붙여 연구팀은 보다 구체적으로 정칙화에 의해 기록된 해보다 범화된 해가 약간 유리하게 되는 데이터량을 선택하면 Grokking을 볼 수 있다며 Grokking과 위상변화가 깊은 관계에 있다고 보았습니다.

연구팀은 Grokking을 분석하기 위해 소규모 AI모델을 이용하고 있는데 대규모 모델의 경우에는 이 위상변화를 확인할 수 없다고 합니다. 그러나 소규모 AI모델의 경우 이 이상한 변화를 알 수 있다고 설명했습니다.

연구팀은 “기계론적 해석가능성의 핵심적인 주장 중 하나는 신경망은 이해할 수 있는 것이며, 수수께끼의 블랙박스가 아니라 리버스 엔지니어링하여 이해할 수 있는 해석 가능한 알고리즘을 학습하고 있다는 것”이라며 이번 연구는 그 개념을 실증하기 위한 것이라고 설명했습니다.

덧붙여 연구팀은 이번 분석에 있어서의 기술적으로 상세한 내용과 논의 등을 아래의 페이지에 정리했습니다.

A Mechanistic Interpretability Analysis of Grokking (Stable) - Colaboratory
https://colab.research.google.com/drive/1F6_1_cWXE5M7WocUcpQWp3v8z4b1jL20

A Mechanistic Interpretability Analysis of Grokking (Stable)