눈앞의 심사위원이 오페라를 부르는 것처럼 AI로 실시간 합성하는 퍼포먼

미국의 인기 프로그램 'America's Got Talent'는 세계 각국에서 다양한 재능인들이 모여 상금 100만 달러(약 14억 원)를 건 오디션에 도전하는 프로그램입니다. 그런 AGT에 대기업 반도체 기업인 NVIDIA가 지원하고 있는 스타트업 Metaphysic이 참가해 리얼타임 합성기술로 눈앞의 심사원이 오페라를 노래하고 있는 것처럼 보이는 퍼포먼스를 선보였습니다.

AI Propels Metaphysic to ‘America’s Got Talent’ Final | NVIDIA Blog
https://blogs.nvidia.com/blog/2022/09/13/metaphysic-ai-avatars-americas-got-talent/

AI Propels Metaphysic to ‘America’s Got Talent’ Final | NVIDIA Blog

Metaphysic은 크리에이터가 AI기술로 가상의 정체성과 합성 콘텐츠를 구축할 수 있도록 지원합니다. 2021년에는 AI 합성기술을 사용해 배우 톰 크루즈가 말하거나 움직이는 모습을 재현한 'deeptomcruise'라는 TikTok 계정을 만들어 합계 약 1억 회의 재생수를 기록하는 등 화제를 불렀습니다.

Metaphysic은 기술계 스타트업을 지원하는 NVIDIA의 프로그램인 NVIDIA Inception의 참가 기업이기도 하며 AI 아바타 소프트웨어나 하드웨어의 지원을 받고 있다고 합니다. Metaphysic의 제품혁신 담당이사인 Jo Plaete 씨는 NVIDIA의 하드웨어와 소프트웨어 라이브러리가 없으면 이러한 초현실적인 결과를 얻을 수 없었다고 말합니다.

그리고 이번에 Metaphysic은 AI를 이용한 실시간 합성기술을 퍼포먼스로 승화시켜 오디션 프로그램 AGT에 참가했습니다. Metaphysic이 세미 파이널 스테이지에서 보여준 퍼포먼스는 아래의 영상에서 볼 수 있습니다.

Simon, Terry, and Howie Sing "Nessun Dorma" on Stage?! Metaphysic Will Stun You | AGT 2022 - YouTube
https://www.youtube.com/watch?v=2mDJSq7bInY

무대에 나타난 것은 3명의 오페라 가수 앞에는 카메라와 같은 기계가 설치되어 있습니다. 노래는 'Nessun Dorma'로 입가의 움직임과 행동은 무대 위의 가수의 것이지만 얼굴은 심사원입니다. 퍼포먼스 후에는 스탠딩 오베이션을 받았으며 AI를 이용한 퍼포먼스가 AGT 파이널에 진출하는 것은 이번이 처음입니다.

그리고 현지 시각인 9월 13일에 행해진 파이널에서 Metaphysic은 1977년에 사망한 뮤지션 엘비스 프레슬리를 AI의 힘으로 재현하는 퍼포먼스를 선보였습니다.

Simon, Sofia, And Heidi Perform With Elvis on America's Got Talent! | AGT Finals 2022 - YouTube
https://www.youtube.com/watch?v=xsaPAXzoTUI

'Hound Dog'와 'Devil in Disguise' 등을 노래했으며 심사원이 등장해 무대를 빛냈습니다.