VR은 어떻게 인간의 뇌를 속여 현실로 착각하게 만들까?

가상현실(VR) 체험 중 높은 곳에서 떨어지는 영상을 보면 나도 모르게 비명을 질러버릴 만큼 VR은 현실처럼 보입니다. VR이 어떻게 현실처럼 보이게 하는지에 대해, 미국의 뉴스미디어 Vox가 동영상을 통해 설명합니다.

How virtual reality tricks your brain - YouTube
https://www.youtube.com/watch?v=ybyib5pAq7Y

영상의 등장인물들이 플레이하고 있는 것은 'Richie's Plank Experience'라는 VR게임.

Richie's Plank Experience에서는 '80층 높이에 설치된 1개의 나무판을 걸어서 건넌다'라는 유사체험을 즐길 수 있습니다.

 
Richie's Plank Experience의 그래픽은 잘되어 있지만 역시 빛의 반사가 부자연스럽게 보이거나 빌딩의 외벽이 지나치게 매끄럽고 관엽식물의 잎의 그래픽 표현이 깨져있기도 합니다.

세부적으로 보면 그래픽의 한계가 눈에 띄지만, Richie's Plank Experience는 플레이어에게 '현실같은 체험'을 제공하는 데 성공하고 있습니다. 예를 들어 YouTube에서 'VR FAIL VIDEO'로 검색하면 VR게임에 열중한 나머지 넘어지거나 물건을 떨어뜨리고 심지어 타인을 때리는 플레이어의 모습을 볼 수 있습니다.

그럼 왜, VR은 현실처럼 보이지 않는데, 현실로 착각할까?

'다른 사람이 VR을 플레이하는 것을 보는 것'과 '실제로 자신이 VR을 체험하는 것'의 가장 큰 차이점은 VR헤드셋의 유무입니다.

VR 제품시험 등을 전문으로 하는 Roomera의 손 구엔 CEO는 "VR헤드셋이야말로 VR의 마케팅에 있어서 최대의 실패입니다."라고 말합니다. 구엔 CEO에 따르면, VR헤드셋 때문에 VR을 플레이하는 사람과 보는 사람이 같은 경험을 얻을 수 없는 점이 VR 보급의 걸림돌이 되고 있다는 것.

구엔 CEO는 "VR은 TV 등에서 영상을 시청하는 것과는 전혀 다른 경험을 뇌에 제공하는 것"이라고 설명합니다. 우리는 TV와 스마트폰 등을 볼 경우에 화면의 영상을 사진과 같은 '평면적인 것'이라고 인식하고 있으며, 스크린에 공이 날아오는 영상을 보아도 피하려고 생각하지는 않습니다. 그러나 VR로 공이 날아오는 영상을 본다면 사람은 피하려는 반응을 합니다.

이 반응을 일으키게 하는 원인은 VR헤드셋이 양쪽 눈앞에 1장씩 총 2개의 스크린을 두고 있다는 점입니다. 각각의 스크린은 두 눈 근처에 놓여 있을 뿐만 아니라 각각의 스크린에는 약간 다른 영상이 표시됩니다.

이것은 '두 눈이 각각 약간 다른 이미지를 본다'라는 사람이 사물을 보는 메커니즘을 모방하고 있습니다.

두 눈이 서로 다른 이미지를 보고 있다는 것은 '얼굴 앞에 손가락을 1개 세워 눈을 한쪽씩 감아 본다'라는 실험으로 확인할 수 있습니다. 왼쪽 눈을 감으면 오른쪽 눈을 감았을 때와 비교하여 손가락의 위치가 약간 어긋나 있다는 것을 알 수 있습니다.

인간은 각각의 눈에서 얻은 시각정보의 차이로 깊이를 결정합니다. 이것은 'Stereopsis(입체)'라는 현상으로 VR을 삼차원적인 영상으로 착각하게 만드는 정체입니다. 입체영상이 자신의 얼굴의 움직임에 따라 상하좌우로 움직일 경우, 인간의 두뇌는 '이 영상은 자신이 보고 있는 현실영상'이라고 오인합니다.

그 외에도 입체음향도 VR영상을 현실처럼 생각하게 해주는 요소 중 하나입니다. Richie's Plank Experience에서 보는 방향을 바꾸면 바람소리가 바뀌는 등의 연출이 되어 있습니다.

20년 가까이 VR기술을 연구해온 함부르크대학의 프랭크 스타닉 씨는 "1만 5000년에 걸쳐 우리의 뇌는 CG영상과 실제 영상을 분별하는 데 문제가 발생하지 않았습니다"라고 설명합니다. VR은 인류에게 익숙하지 않은 기술이지만, 선천적인 시각 메커니즘을 모사한 기술이기 때문에 뇌는 즉시 가상환경에 적응합니다.

스타닉 씨에 따르면, 인간은 정보의 80%를 시각으로부터 얻고 있다는 연구결과가 있을 정도로 시각이 뇌에 미치는 영향은 큽니다.

뇌는 시각의 정보에 의존한 나머지 시각에서의 정보와 시각 이외의 정보에 차이가 있어도 뇌는 시각정보를 우선하는 경향이 있습니다. 현실세계가 더운 기온이더라도, 설산의 영상을 VR로 체험한 피실험자가 추위를 느꼈다는 사례도 있습니다. 이 현상을 이용하여 화상을 입은 환자가 붕대를 교체할 때 설산의 VR영상을 체험하도록 하여 통증을 완화하는 실험도 이루어지고 있습니다.

2020년의 VR영상은 아직 거칠기가 눈에 띄지만, 스타닉 씨는 "5년이나 10년 정도 후에는 현실과 구별이 가지 않는 CG가 등장할 것입니다. 그러고 그것이 실현되면 윤리적 문제가 부상할 것"이라고 전망합니다.

A person in a virtual reality headset and headphones https://commons.m.wikimedia.org/wiki/File:VR_(Unsplash_VK284NKoAVU).jpg