우리가 보고 있는 영상은 "과거 15초간의 다이제스트"라는 연구 결과...뇌가 방대한 시각정보를 효율적으로 처리할 수 있는 이유

과거의 연구에서는 1초간의 사람의 뇌활동이 최신 슈퍼컴퓨터의 40분에 필적하는 등 뇌는 매우 고도로 복잡한 정보처리를 하고 있는 것으로 밝혀졌습니다. 새로운 연구에서는 뇌에 들어오는 정보 대부분을 차지하는 시각정보가 효율적으로 처리되고 있는 원리에 대해 뇌가 '실시간 시각정보가 아니라 지난 15초간의 영상의 집약'을 보고 있다'는 것을 밝혀냈습니다.

Illusion of visual stability through active perceptual serial dependence
https://www.science.org/doi/10.1126/sciadv.abk2480

Everything we see is a mash-up of the brain's last 15 seconds of visual information
https://theconversation.com/everything-we-see-is-a-mash-up-of-the-brains-last-15-seconds-of-visual-information-175577

Everything we see is a mash-up of the brain's last 15 seconds of visual information

사람의 눈에는 끊임없이 색과 모양이 변화하는 세계의 영상이 유입되며 눈이나 머리의 미묘한 움직임에도 영상은 크게 변화합니다. 스코틀랜드에 위치한 애버딘대학의 심리학자인 마우로 나시 조교수와 캘리포니아대학 버클리교의 데이비드 휘트니 교수는 뇌에 들어오는 영상이 얼마나 변덕스럽게 변화하는지를 아래의 동영상으로 보여주었습니다.

Visual (In)stability - YouTube
https://www.youtube.com/watch?v=Lub3lsJdko0

이 영상은 오른쪽에 사람의 눈이 보고 있는 장소를 하얀 원으로 나타내고 왼쪽에 그 부분의 영상을 표시한 것. 재생해 보면 안구의 세세한 움직임으로 인해 시각정보가 매우 크게 변화하고 있는 것을 알 수 있습니다. 게다가 오른쪽의 사진은 어디까지나 정지화이므로 사람의 뇌가 항상 변화하고 있는 세계로부터 받는 정보는 더욱 방대할 것입니다.

이렇게 엄청난 영상정보를 처리하고 있음에도 불구하고 사람의 뇌가 보고 있는 영상은 매끄럽습니다. 이처럼 뇌가 안정된 영상을 만들어내는 원리를 알아보기 위해 나시 씨는 인터넷을 통해 모집한 약 100명의 피실험자를 대상으로 시간의 경과에 변화하는 영상을 보여주는 실험을 했습니다.

An Illusion of Stability - YouTube
https://www.youtube.com/watch?v=cLqVwvdOzuk

영상이 시작되면 아이 얼굴이 2개 표시되고 '이것은 쌍둥이의 얼굴로 나이도 같다'고 안내됩니다. 헤어스타일 등이 나이를 추측하는 단서가 되지 않도록 영상에는 얼굴의 중심부만이 사용되었습니다.

그 다음 오른쪽의 얼굴을 숨겨지고 왼쪽의 얼굴을 계속 보도록 요청받습니다. 그리고 약 30초 경과 후 왼쪽 아이의 얼굴이 몇 살로 보이는지 대답을 받았습니다.

사실 왼쪽의 얼굴은 30초 동안 조금씩 성장해 완전히 다른 얼굴이 됩니다.

이 실험의 결과 피실험자가 대답한 얼굴의 연령은 30초가 경과한 시점의 얼굴이 아닌 10~15초 전의 조금 젊은 얼굴의 연령이었습니다. 이는 뇌가 실시간으로 영상정보를 처리하고 있는 것이 아니라 과거 15초간에 본 영상을 평균화한 것을 보고 있다는 것을 의미하고 있다는 것. 지금까지의 연구에서도 뇌가 보고 있는 것은 과거 15초간의 집대성이라는 것이 알려져 있는데 이번 연구에서 물리적으로 변화하는 물체가 과거의 지각에 끌려 변화가 없는 것처럼 보인다는 새로운 영상처리의 메카니즘이 밝혀졌습니다.

이 결과에 대해 나시 씨는 “뇌의 갱신시간은 15초이므로 우리는 최신의 영상을 보고 있는 것이 아니라 이전의 영상을 보고 있다는 것이 됩니다. 요컨대 시간을 들여 영상을 평균화함으로써 지각을 안정시키고 있다는 의미로 이것은 단지 15초마다 영상을 하나로 통합하여 일상생활의 풍경을 효율적으로 처리할 수 있도록 해주는 앱이 깔린 것과 유사합니다. 우리의 뇌가 항상 실시간으로 정보를 처리하고 있다면 우리의 세계는 빛과 그림자와 움직임이 끊임없이 변화하는 혼란스러운 광경이 되어 버릴 것"이라고 설명했습니다.

과거의 영상을 재이용하면서 효율적으로 시각정보를 처리하는 구조에는 부작용도 있습니다. 영화의 장면마다 배우와 스턴트맨이 바뀌어도 눈치채지 못하는 정도의 단점이라면 문제없지만 방사선과 의사가 수백 장의 X선 사진을 차례차례 조사할 때 보고 있는 사진과 앞의 사진이 뒤섞여버리면 종양 등의 이상을 놓칠 우려도 있습니다.

이런 점에서 나시 씨는 “시각시스템의 리프레시 레이트의 지연은 우리의 눈을 과거로 향하게 하기 때문에 변화를 깨닫지 못할 수도 있습니다. 이 구조는 세계를 연속성 있는 안정된 것으로 인식하는 데 도움이 되지만 동시에 우리가 날마다 하고 있는 판단은 현재가 아닌 과거에 강하게 의존하고 있다는 점을 잊어서는 안 될 것”이라고 경고했습니다.