딥페이크로 합성된 얼굴을 분별하는 열쇠는 바로 '눈빛'

AI 기술을 이용하여 가상의 이미지나 영상을 합성하는 딥페이크는 사람의 눈으로는 진위를 식별하기 매우 어려운 단계에까지 발전했고, 존재하지 않는 인물의 얼굴 사진을 쉽게 만들 수 있기 때문에 SNS 등에서도 큰 문제가 되고 있습니다. 그런 딥페이크로 생성된 얼굴 사진을 '눈동자에 비친 빛의 반사'로 간파하는 기술을 뉴욕주립대 버팔로캠퍼스의 연구팀이 개발했습니다.

EXPOSING GAN-GENERATED FACES USING INCONSISTENT CORNEAL SPECULAR HIGHLIGHTS
https://arxiv.org/pdf/2009.11924.pdf

New AI tool detects Deepfakes by analyzing light reflections in the eyes
https://thenextweb.com/neural/2021/03/11/ai-detects-deepfakes-analyzing-light-reflections-in-the-cornea-eyes-gans-thispersondoesnotexist/

Scientists developed a clever way to detect Deepfakes by analyzing light reflections in the eyes

아래의 이미지는 실제 사람의 얼굴(왼쪽)과 적대적생성네트워크(GAN)에 의해 생성된 가상인물의 얼굴(오른쪽)을 나열한 것으로, 언뜻 보아서는 모두 실제 사람의 얼굴 사진으로 밖에 보이지 않지만, 눈을 확대한 것을 자세히 살펴보면 각막에 반사된 빛의 모양이 진짜의 경우에는 좌우가 거의 똑같은 데 비해 가짜는 좌우가 뿔뿔이 흩어진 형태로 되어 있습니다.

두 눈은 같은 것을 바라보고 있으므로 진짜 얼굴은 좌우의 눈에 비치는 형태도 일치하는 것이 보통입니다. 그러나 GAN은 많은 경우에서 유사성을 정확하게 재현할 수 없습니다. 따라서 눈의 위치를 ​​매핑하여 두 눈에 비친 빛을 분석하면 얼굴 사진이 진짜인지 딥페이크인지를 정밀하게 식별할 수 있다고 연구진은 설명합니다.

다음은 연구팀이 개발한 판별 도구로 진짜 인간의 두 눈(위)과 딥페이크의 두 눈(아래)를 분석한 결과입니다. 판별 도구는 진짜 얼굴 사진의 IoU스코어를 '0.5824 ~ 0.8406'로 평가했지만, 딥페이크로 합성된 얼굴 사진은 '0.2429 ~ 0.3512'로 낮게 평가했습니다.

이 판별 방법은 한쪽 눈만 찍힌 사진에서는 작동하지 않을 뿐만 아니라 피사체가 카메라를 바라보고 있지 않으면 정확도가 크게 떨어진다는 단점이 있습니다. 또한 수동으로 눈동자의 빛을 수정하여 평가를 어렵게 만들 수 있다고 합니다.

연구팀은 "현 단계에서는 매우 정교한 딥페이크 사진을 판별해낼 수 없지만, 많은 어설픈 딥페이크 사진이라면 가능합니다"라고 말하며, 향후 이 방법의 효과를 한층 더 높이는 연구를 해나갈 것이라고 말합니다.