‘첨단’과 ‘상상’ 입은 기술, 혼합현실(MR)을 아세요?

너무나 유명한 ‘이상한 나라의 앨리스’의 첫 부분이다. 영국 수학자 겸 작가 찰스 루트위지 도지슨이 ‘루이스 캐럴’이란 필명으로 1865년 발표한 이 소설은 요즘으로 치면 판타지 소설 비슷한 것이다. 처음 출간됐을 당시 이 책은 분량이 상당했지만 삽화는 흑백 목판으로 달랑 42개 들어있을 뿐이었다. 나머지 장면은 대부분 독자가 스스로 상상해야 했다.

그로부터 86년이 지난 1951년, 디즈니에서 이 소설을 1시간 15분짜리 풀 애니메이션으로 만들어 제공했다. 관객들은 이제 글자를 보면서 상상력을 동원할 필요가 없었다. 그저 스크린을 보면서 콘텐츠를 즐기면 그만이었다. 하지만 2차원 평면에 펼쳐지는 그 스토리 역시 일방적인 것이어서 그 안에 관객의 자리 따윈 없었다. 천연색이지만 비현실적인 만화 캐릭터가 나오는 화면에 관객이 주인공이 된 듯한 몰입감까지 기대하긴 어려웠다.

▲152년 전 소설 ‘이상한 나라의 앨리스’를 읽는 독자는 거의 대부분의 스토리 이미지를 스스로 상상해내야 했다. 66년 전 디즈니 애니메이션이 나왔을 때 관객들은 눈앞 그림을 따라가는 것에 만족해야 했다. 하지만 2017년의 사용자는 모바일 기기를 진짜 풀밭 위에 갖다 대기만 하면 ‘진짜 같은 토끼’가 뛰어오르는 걸 볼 수 있다

그로부터 66년이 흐른 2017년, 사람들은 이 얘길 마치 자기 일인 듯 체험할 수 있게 됐다. 친구들과 함께 풀밭에 앉아 있는데 갑자기 살아서 움직이는 하얀 토끼 한 마리가 “에구구! 에구구! 너무 늦은 거 아냐?”라고 말하면서 내 눈 앞을 달려서 휙 지나간다. 그럼 사용자는 일어나 토끼 뒷모습을 보며 함께 따라 뛸 수 있다. 토끼는 사라지고 사용자는 깊은 우물 같은 동굴 속으로 빠진다. 소설 속 앨리스가 했던 것과 똑같은 체험을 실제로 할 수 있게 되는 것이다.

사용자와 가상 캐릭터가 한 공간에서 움직이는 인터랙티브 스토리(interactive story) 전개. 최근 주목 받는 기술 중 하나인 ‘혼합현실(Mixed Reality, MR)’이라면 얼마든지 실현 가능해진다.

#현실 세계와 가상 세계, 그 사이 모든 공간

혼합현실이란 말 그대로 ‘다양한 방식을 혼합해 만들어낸 현실’이란 뜻이다.

위 도표에서 볼 수 있듯 한쪽 극에 현실이 있고 다른 쪽 극에 가상현실이 있다고 하자. 혼합현실은 그 사이에 존재할 수 있는 방식을 통틀어 일컫는 말이다.

여기서 잠깐, 비슷비슷한 용어가 헷갈릴 수 있다. 증강현실과 가상현실, 증강가상현실에 이어 혼합현실이라니. 용어 정리부터 해보자.

증강현실(Augmented Reality, AR)이란 ‘확장된 현실’이란 뜻이다. 현실의 어느 장면을 볼 때, 실제론 그 장면 속에 존재하지 않으나 거기 관련된 이미지나 정보가 덧붙여 보이는 걸 말한다. 그러려면 특수 안경을 쓰거나 스마트폰·태블릿의 사진 PC 촬영 모드를 이용해 그 장면을 봐야 한다. 영화 ‘아이언맨’에서 토니 스타크가 특수한 수트를 입으면 필요한 모든 정보가 눈앞에 펼쳐진다든지, ‘킹스맨’에서 주인공들이 안경을 쓰면 역시 자기가 보고 있는 대상에 관한 정보가 글자로 눈앞에 보인다든지 하는 건 모두 증강현실의 일환이다(2015년 9월 9일자 스페셜 리포트 “‘진짜 현실’로 다가온 증강현실” 참조). ‘포켓몬고’ 같은 게임도 증강현실 기술을 이용한 것이다(2016년 7월 27일 스페셜 리포트 “포켓몬 고 열풍, 기계로 노는 인간들” 참조).

가상현실(Virtual Reality, VR)도 있다. 가상현실이란 ‘실제로 존재하진 않으나 꼭 실제로 존재하는 것 같은 현실’을 말한다. 증강현실 화면 속엔 실제 현실이 다 들어있고 거기에 현실에 없는 부분이 덧붙여진다. 하지만 가상현실 화면은 실제 현실 상황이 전혀 아닌, 만들어진 현실만으로 채워진다. 다만 이렇게 만들어진 현실이 실제 현실과 너무 흡사해 몰입감을 줄 뿐이다. 이를 위해 사용자는 현실 세계 정보를 전혀 보거나 듣지 못하도록 특수하게 제작된 ‘헤드마운트디스플레이(HMD)’를 착용해야 한다(2015년 6월 24일 스페셜 리포트 “가상현실, 또 한 번의 부활 꿈꾸다” 참조). 최근엔 가상현실 기법을 활용한 저널리즘이 새로운 가능성으로 각광 받고 있기도 하다(2016년 3월 16일 스페셜 리포트, “이제 저널리즘까지? VR의 거침없는 하이킥” 참조).

증강가상현실(Augmented Virtuality, AV)이란 가상현실 기법을 기반으로 콘텐츠를 만들되, 거기에 현실적 요소가 추가돼 상호작용되도록 하는 기술을 일컫는다. 예를 들면 당신이 사무실 의자에 앉아 HMD 고글을 쓰고 가상현실 축구장을 보고 있다고 하자. 그 상태에서 실제로 칩이 내장된 공을 집어 들어 힘껏 던지면 사무실 앞 벽에 맞아 튕겨 나갈 것이다. 하지만 고글을 쓴 당신 눈엔 그게 골대 안으로 날아 들어가 그물을 흔드는 공의 모습으로 보이게 만드는 것이다. 좀 오래되긴 했지만 이 기법을 잘 보여주는 영화가 ‘론모우어맨(The Lawnmower Man)’(1992)다. 지적장애 청년 ‘조브’가 실험 대상이 돼 벌어지는 가상 프로젝트 세계는 가상현실에 실제 인간이 들어가 소통하는 증강가상현실의 예를 보여준다.

#AR∙VR 장점 취합한 후 ‘인터랙션’ 강화해라

기술적으로 접근했을 때 혼합현실이란 ‘증강현실과 가상현실을 통합하고 사용자와의 인터랙션을 더욱 강화한 방식’을 말한다. 즉 현실과 증강현실, 가상현실의 요소가 모두 혼합된 상태를 구현하는 것이다. 이런 기술적 목표 구현을 위해선 어떤 기술 혁신이 선행돼야 할까?

우선 현실·가상현실·증강현실 정보를 동시에 보고 들으며 몰입감을 느낄 수 있게 해주는 장비가 필요할 것이다. 현실 상황을 그대로 느끼는 동시에 현실에 없는 내용을 시각적으로 볼 수 있게 해주는 비디오 장치, 현실에 없는 소리를 청각적으로 들을 수 있게 해주는 오디오 장치가 그것이다.

예를 들어 당신이 체육관에 친구들과 앉아 교사의 지시대로 가운데 빈 공간을 보고 있는데, 갑자기 바닥이 갈라지며 엄청나게 큰 고래가 솟구쳐 뛰어오른다. 고래와 함께 흩어지는 물살과 물거품의 모습을 보는 건 물론이고 그 큰 덩치가 바닷물을 가르는 소리, 그 여파로 크고 작은 물결이 흩어져 철썩거리는 소리도 들을 수 있어야 한다.

사실 위 상황은 ‘매직리프(Magic Leap)’라는 혼합현실 제작 전문 기업이 지난해 출시한 콘텐츠의 줄거리다. 요즘은 이처럼 시청각적 정보뿐 아니라 냄새나 촉감 정보까지 더한 혼합현실을 만들려는 시도가 다양하게 행해지고 있다(관련 자료는 여기 참조).

다음으로 사용자 행동이 가상 공간에 반영되게 되려면 사용자의 움직임을 파악하는 센서와 이를 전달해 움직임의 결과 상황을 만들어내는 장치가 필요하다. 예를 들어 가상의 공간에서 어떤 물체를 움직인다고 하자. 이는 신체의 물리적 움직임이 객관적 대상의 위치에 변화를 일으키는 일반 물리적 과정과 기본적으로 같은 원리로 진행된다. 사용자가 물리적 힘을 가할 때 그 정보를 파악해 그 힘이 작용하는 대로 가상의 물체가 움직이는 것처럼 보이도록 우리 눈에 정보를 쏴주는 것이다. 차이는 이때 객관적 대상이 실제 물체가 아니라 가상의 물체란 것뿐이다.

물론 혼합현실 프로그램 과정은 여느 물리적 과정과 다르다. 가장 큰 차이 중 하나가 같은 공간에 있지 않아도 같은 정보를 공유할 수 있단 사실이다. 사용자와 물체의 움직임을 카메라로 포착, 같은 프로그램에 로그인된 타인도 볼 수 있게 하는 것이다. 그 결과, 아주 멀리 떨어져 있는 곳의 사람들도 그 과정을 실시간으로 공유하며 집단지성을 발휘할 수 있게 된다(관련 동영상 ‘혼합현실의 세계를 가능케 하다’ 내용은 아래 영상 참조).

▲혼합현실의 원리 이해를 돕는 동영상 ‘혼합현실의 세계를 가능케 하다’의 한 장면

마지막으로, 이 모든 장비는 사용자가 착용하고 일상적 활동을 무리 없이 할 수 있을 만큼 구조적으로 간단하고 가벼워야 한다(기술 혁신이 가장 많이 이뤄져야 하는 부분이기도 하다).

이를 위해 다양한 혁신적 기술의 조합이 이뤄지고 있다. △종전처럼 카메라로 피사체를 찍는 기법이 아니라 수많은 마이크로 렌즈를 통해 피사체가 내는 빛을 포착, 사용자 눈에 투사하는 ‘라이트필드 촬영 기술’ △기존처럼 소리를 구성, 스피커로 내보내는 오디오 패러다임이 아니라 신체로 전달되는 신호를 소리로 재생하는 기술(이와 관련된 사례로 삼성전자가 지원한 스타트업 중 하나인 ‘팁톡’이 있다. 2015년 8월 26일자 스페셜 리포트 “도전과 혁신은 최고의 가치! 파격적 스타트업 지원 시작한 삼성전자” 참조) 등이 대표적이다.

#‘모두가 구체적 꿈을 꿀 수 있는 세상’ 향해

온라인 시장조사기관 마케츠앤드마케츠에 따르면 혼합현실 시장 규모는 지난해 4800만 달러(약 55억 원) 선이었다. 2020년이면 4억5300만 달러(약 5150억 원)에 이를 것으로 예측된다. 증강현실 기술을 더욱 확대하며 가상현실 기술의 한계를 극복하고 현실과의 인터랙션 요소를 강화한 이 기술의 응용은 △교육 △엔터테인먼트 △비즈니스 컨설팅 △건축 △토목 △물류 △에너지와 환경 관리 △의료 △군사 등 다방면에서 요원의 불길처럼 번져가고 있다.

상상력은 인간을 다른 동물과 구분하는 자산으로 알려져 있다. 하지만 이제까지 상상력은 ‘소통이 잘 되지 않는다’는 한계에 갇혀 있었던 게 사실이다. 내 머릿속에서 그리는 모습을 타인은 알 수 없는 것이다. 현실엔 없는 상상이지만 모든 사람과 공유하며 한 걸음 더 나갈 순 없을까? “모두가 함께 구체적 꿈을 꿀 수 있는 세상”을 위해 오늘도 혼합현실 기술 개발자들은 노력하고 있다.