[스페셜 리포트] ‘진짜 현실’로 다가온 증강현실

#‘마이너리티 리포트’ ‘킹스맨’ 속 풍경이 눈앞에!

길을 걷다 멋진 풍경을 만났다. 어떤 앵글이 좋을지 손가락으로 구도를 잡자 찰칵, 그 풍경이 사진으로 찍혀 웨어러블 기기에 담긴다. 한동안 거리를 돌아다니다 문득 지금껏 찍은 사진이 보고 싶어진다. 때마침 한적한 거리에 비교적 깨끗한 건물 벽면 하나가 눈에 띈다.

암실도, 모니터도, 디스플레이 보드도 필요 없다. 스크린을 대신할 만한 벽면을 빔프로젝터 스크린 삼아 웨어러블 기기의 디스플레이 화면을 쏜다. 어떤 평면에든 지금껏 찍은 사진들이 투사될 수 있으며 영화 ‘마이너리티 리포트’(2002) 속 ‘존 앤더튼’ 프리크라임 팀장(톰 크루즈 분)처럼 벽 앞 허공에서 두 손을 움직여 원하는 사진을 맘대로 편집할 수 있다. 사진을 선택해 꺼낼 수도, 확대하거나 글귀를 적어 넣을 수도 있다.

한참을 그렇게 놀다 문득 오후에 잡아둔 미팅 약속이 생각났다. 손가락으로 손목에 동그라미를 그리는 순간, 시계 모양이 손목에 투사돼 나타났다. 시곗바늘이 거의 5시에 다가서고 있다. 큰일났다, 많이 늦겠는데! 시계 찬 반대편 손 검지를 시계 문양 위에 갖다 대고 오른쪽에서 왼쪽으로 문지르니(swipe) 시계가 사라진다.

택시를 잡아타고 손바닥을 펴자, 그 위로 전화 다이얼 버튼이 떠오른다. 번호를 누르고 ‘콜(call)’ 버튼을 누르니 통화가 연결된다. 만나기로 한 상대에게 “15분쯤 늦을 것 같다”며 양해를 구한다.

약속 장소인 모 대학 연구동 앞, 처음 보는 젊은이가 아는 척하며 악수를 청한다. 웃으며 손을 맞잡았지만 당최 누군지 몰라 궁금하다. 하지만 영화 ‘킹스맨’(2015)의 ‘해리’(콜린 퍼스 분)처럼 특수 안경을 쓸 필요 따윈 없다. 웨어러블 기기가 상대방의 정보를 그의 T셔츠 위에 투사해주기 때문. ‘학생, MIT 미디어랩 소속, 사진 찍기가 취미, 최근 고(高)사양 캠코더 구입…’ 그 젊은이가 직접 자신의 SNS에 올린 정보 중 주요 부분이 키워드로 떠오른 것이다.

만나기로 한 교수를 기다리는 동안 간단한 용무는 처리할 수 있을 것 같다. ‘미팅 아이템부터 검색해볼까?’ 탁자 위에 놓인 메모장을 집어 들자, 그 위에 구글 화면이 투사된다. 화면을 손가락으로 툭 건드리자 키보드도 떠오른다. 필요한 내용을 검색한 후 친구에게 곧장 SNS로 전송한다.

위 에피소드는 ‘가상’이 아니다. 지난 2009년 당시 29세로 미국 매사추세츠공과대학(MIT) 미디어랩(Media Lab) 소속 연구원이었던 인도 출신 컴퓨터공학자 프라나브 미스트리(Pranav Mistry)가 본인이 개발한 웨어러블 기기로 구현해낸 증강현실 기술 적용 사례 중 일부를 재구성한 것이다. 미스트리는 2013년 세계경제포럼에서 ‘영 글로벌 리더(Young Global Leader)’ 중 한 명으로 선정됐으며, 2015년 9월 현재 삼성전자 북미연구소(Samsung Research America) 상무(vice president)로 재직 중이다.

미스트리는 카메라와 프로젝터(projector), 프로젝터에서 나오는 빛을 알맞은 각도로 평면에 투사해주는 거울, 골무처럼 손가락 끝에 끼워 컴퓨터 마우스나 터치패드처럼 쓸 수 있는 컬러 마커(color marker) 등으로 단순하게 구성된 웨어러블 기기를 통해 위와 같은 기능을 거뜬히 구현해냈다. 일명 ‘식스센스(SixthSense)’ 기술이다. 2009년 2월 TED(기술<Technology>과 연예<Entertainment>, 디자인<Design> 방면의 전문가를 초빙, 진행하는 대중 강연회. 미국 민간단체가 운영한다)를 통해 대중에게 알려진 이 기술은 소위 ‘증강현실(Augmented Reality, AR)’의 대표적 사례로 손꼽힌다.

#증강현실은 가상현실과 다르다… 어떻게?

증강현실이란 물리적으로 실재하는 환경에 컴퓨터(에서 내보내는) 정보를 덧붙여 특정 요소를 한층 강화된 형태로 보여주는 기술을 일컫는다. 이때 컴퓨터 정보란 소리와 모습, 글자와 도형, GPS 데이터 등을 모두 아우른다. 컴퓨터가 개입돼 보여주는 현실이란 뜻에서 ‘매개현실(Mediated Reality)’, 현실과 데이터의 가상이 혼재돼 있단 뜻에서 ‘혼합현실(Mixed Reality)’이라 부르기로 한다(두 경우 모두 약자는 ‘MR’로 동일하다).

증강현실은 종종 가상현실(Virtual Reality, VR)과 비교되지만 둘은 상당히 다르다. 가상현실은 현실 정보를 차단한 채 오로지 가상 정보(소리∙형태 등)만 보여준다. 현실을 지우고 가상에 몰입하게 만드는 것이다. 이에 비해 증강현실은 현실 이미지에 컴퓨터가 제공하는 정보를 투사하는 형태다. 현실과 인간이 한층 높은 밀도로 공존하게 만드는 것이다.

증강현실이 대중화되기 시작한 건 스마트폰 보급 확산과 함께 전용 애플리케이션(이하 ‘앱’)이 등장하면서부터다. 오늘날 대중적으로 가장 많이 알려진 증강현실 앱은 GPS를 통합, 지역 정보를 보여주는 형태와 게임 형태 등 크게 두 가지다.

#주변 환경, ‘스마트하게’ 인식하다_GPS 통합형

GPS 통합형 증강현실 앱을 실행시키면 카메라가 작동한다. 카메라 뷰파인더로 인식한 대상의 이미지가 키워드로 작용, 스마트폰 검색 절차를 거친 후 그 결과 값이 모니터에 띄워지는 방식이다. 서울 광화문 앞에서 해태상과 광화문이 함께 잡히도록 스마트폰 카메라 앵글을 잡으면 해당 이미지가 기기로 전송되면서 스마트폰이 이를 인식하는 방식이다. 이 이미지를 키워드로 해 해태상과 광화문에 관한 정보가 검색, 정리된 후 뷰파인더 속 이미지 위에 글자로 표시되는 것이다.

이 같은 원리가 적용된 대표적 앱으론 ‘라야르(Layar)’ ‘모노클(Monocle)’ ‘어반스푼(Urbanspoon)’ ‘위키튜드(Wikitude)’ 등이 있다. 이런 앱은 대부분 스마트폰 소지자의 현 위치에서 가장 가까운 식당, 그리고 그곳의 평점이나 방문 후기 등을 보여주는 콘텐츠로 구성된다. 사용자 눈앞에 보이는 건물이나 경관에 대한 설명을 자막처럼 띄워 보여주기도 한다. 라야르의 경우, 눈앞 건물에 입점된 사무실 정보까지 안내한다. 위키튜드는 ‘위키피디아 수록 정보 활용’이란 강점을 내세워 유명 건물이나 구조물에 카메라를 갖다 대면 그곳의 역사와 특성까지 알려준다.

혹자는 이렇게 반문할 수도 있다. ‘화면 위에 설명을 보충하는 문자가 나타나는 거라면 TV 화면 자막과 뭐가 다르지?’ 하지만 TV 자막은 누가, 어디서 시청하든 일률적인 메시지를 전달한다. 송출 영상에 필요한 자막을 따로 제작, TV 화면 위에 투사한 후 내보내면 되니 관련 기술도 비교적 단순하다.

그에 반해 증강현실 앱의 자막은 사용자가 스마트 기기를 들고 특정 상황에서 특정 대상을 바라봤을 때 그에 맞는 메시지를 실시간으로 생성, 공급한다. 이 같은 서비스를 제공하려면 △대상 이미지를 촬영할 수 있는 카메라 외에 △해당 이미지를 스캔, 인식할 수 있는 소프트웨어 △최종 인식된 이미지를 적정 키워드로 바꿔 검색할 수 있는 소프트웨어 △검색된 내용을 요약하는 소프트웨어 △결과물을 그래픽으로 정리한 후 디자인 작업을 거쳐 디스플레이에 띄울 수 있도록 해주는 소프트웨어가 각각 필요하다.

#실재 세계서 가상 캐릭터와 ‘한판 승부’_게임형

GPS 통합형 증강현실 앱이 인간의 인식 능력을 보다 ‘스마트(smart)하게’ 만든 거라면 게임형 증강현실 앱은 증강현실 기술의 인터랙션 기능을 한층 강화, 응용한 형태라고 할 수 있다. 이 유형의 앱을 실행하면 역시 스마트폰 카메라가 작동, 눈앞의 현실을 보여준다. 그와 동시에 가상의 캐릭터가 사용자 손길을 따라 움직인다.

게임 분야에선 일찌감치 증강현실 기술의 잠재력에 주목, 관련 개발 작업을 지속해왔다. 실제로 일본 닌텐도사(社)가 출시한 게임기 3DS엔 증강현실 활용 게임이 다수 포함돼 있다. 그 밖에도 ‘섀도런(Shadowrun)’ ‘사이버제너레이션(Cybergeneration)’ ‘데드스페이스(Dead Space)’ 등 여러 게임이 증강현실 요소를 활용해 몰입도와 인터랙티브니스(interactiveness) 수준을 높이고 있다.

#제품 홍보에도, 전투기 비행에도… 활용 범위 ‘무한대’

증강현실 기술은 다른 관련 기술과 결합, 그 가능성을 무한대로 펼쳐가고 있다. 증강현실 연계 기술 중 가장 대표적인 게 동작인식 기술이다. 동작인식 기술이란 키보드나 마우스, 터치패드 등 사람이 컴퓨터에 지시 내릴 때 매개 장치 없이 곧바로 컴퓨터가 사람의 동작을 읽어 지시어로 작업하게 하는 기술을 일컫는다. 앞서 언급된 프라나브 TED 영상 속 웨어러블 기기는 증강현실 기술과 동작인식 기술의 매끄러운 통합 사례라 할 수 있다.

예를 들어 프라나브가 왼손을 들고 손목 쪽에 오른손으로 동그라미를 그리는 동작은 “시곗바늘을 실행해 보여 달라”는 지시어로 인식된다. 아무것도 없던 손목 위에 시곗바늘이 투사되는 건 그 때문이다. 이 상태에서 왼쪽으로 오른쪽으로 오른손 검지를 움직이는 동작은 다시 “프로그램을 종료하라”는 신호로 작용, 웨어러블 기기 내 컴퓨터에 입력되고 시계 모양은 이내 사라진다. 이 신호는 프라나브가 양손의 엄지와 검지에 끼고 있던 서로 다른 색상의 골무형 동작 감지기 컬러 마커에 의해 인식돼 무선으로 웨어러블 기기에 전달된다.

프라나브가 목에 걸고 있는 웨어러블 기기처럼 프로젝터가 돌출돼 있는 장치의 경우, 밝고 깨끗한 평면이 있는 곳이라면 어디서든 영상을 구현할 수 있다. 길을 걷다 만난 타일 벽면도, 사용자의 손목이나 손바닥도, 눈앞 탁자 위에 놓여 있는 메모지도 ‘스크린’으로 활용할 수 있단 얘기다. 다만 이 경우엔 스마트폰 외에 웨어러블 기기를 별도로 착용해야 하는 불편이 있다. 어쩌면 머지않은 시점에 우린 스마트폰 액정 화면으로 증강현실 정보를 보다가, 원할 땐 프로젝터 빔을 외부로 쏘아 올려 프라나브처럼 이용하게 될 수 있을지도 모른다.

이 밖에도 증강현실 기술의 활용 분야는 △고고학 유적지 발굴 △건축 △미술 △토목공사 △교육 △탐색∙구호 작업 △산업디자인 △의료∙미용 △사무 업무 지원 △스포츠∙연예 △관광 △통∙번역 지원 등 무궁무진하다. 그리고 적용 가능 범위는 점차 넓어지고 있다.

예를 들어 자동차 신상품 홍보용 앱을 떠올려보자. 이 앱에 증강현실 기술을 접목시키면 카탈로그 위에서 특정 모델의 사진에 스마트폰을 갖다 대고 앱을 실행시켰을 때 그 상품의 상세 사양과 특징 등이 그래픽으로 떠오른다. 그 모델의 제조 과정이나 시운전 관련 동영상을 감상하는 기능도 탑재할 수 있다.

군사 목적으로 활용하는 것도 가능하다. 증강현실 기술이 적용된 고글을 착용한 채 전투기를 조종하면 비행 정보를 파악하기 위해 고개 숙이는 불편을 감수하며 계기판을 들여다볼 필요가 없다. 속도와 고도, 비행 시간은 물론이고 목표 지점과의 사이에 있는 장애물과 기상조건 변화 같은 정보도 고글 렌즈에 실시간으로 떠오르기 때문이다.

#한계와 가능성 사이_“꿈과 현실 사이의 공간을 두려워하지 말라”

매력적인 꿈을 제시하는 기술엔 최소 두 가지 문제가 동전의 양면처럼 수반된다. 현실을 꿈처럼 끌어올리는 데 필요한 기술 개발이 종종 한계에 부딪친다는 점이 하나, 기술 개발이 성공적으로 진행돼 실용화된 후엔 사람들의 기술 의존도가 필요 이상으로 심해진다는 점이 다른 하나다.

증강현실 기술 분야에서도 동일한 문제점이 지적되고 있다. 사실 현실과 가상의 정보를 매끄럽게 통합하는 일이 언제나 말처럼 쉬운 건 아니다. 예를 들어 GPS 통합형 증강현실 앱의 경우, GPS의 정확도가 제대로 따라주지 않아 실용화되지 못할 수도 있다. 수많은 연구진의 노력으로 이상적 앱이 완성됐다 해도 “사람들이 지나치게 앱에 의존해 문제”란 지적이 나올 수 있다. “내비게이션 보급이 확산된 후 길을 찾거나 기억하는 능력이 급격히 저하됐다”는 비판이 나오는 것과 동일한 원리다.

하지만 인간이 ‘두 발로 걷는 유인원’이었을 때부터 지금까지 과학기술은 언제나 인간의 능력을 높여주는 동반자 역할을 해왔다. 증강현실 역시 그 연장선상에서 현명하게 활용하면 이제까지의 어떤 기술 못지않게 막강한 위력을 발휘하게 될 것이다.

“감히 당신이 꿈꿔왔던 삶을 살아라. 두려움 없이 나아가면 꿈은 실현될 것이다(Dare to live the life you have dreamed for yourself. Go forward and make your dreams come true).” 19세기 미국 시인 랄프 월도 에머슨(Ralph Waldo Emerson)은 이렇게 말했다. 증강현실 기술은 인류의 세계관을 근본적으로 바꿔놓고 있다. 수동적으로 사용자와 거리를 둔 채 외따로 존재하지 않고 사용자 동작에 따라 시시각각 반응하며 종종 사용자 본인까지 변화시킨다는 점에서 증강현실 기술은 인간이 이전까지와는 다른 시각으로 세계를 접할 수 있게 해준다. 증강현실이 성사시킬 꿈과 현실 간 만남은 앞으로 또 어떤 모습으로 펼쳐지게 될까? 지금, 전 세계가 이와 관련한 IT 업계의 움직임에 주목하고 있다.