컴퓨터공학자가 4D영화를 만났다… 스크린이 살아 움직이기 시작했다

스크린 속 하늘을 날던 주인공이 별안간 안개 자욱한 지상으로 추락한다. 그와 동시에 관람석은 앞뒤로 출렁이고 수증기가 눈앞을 가득 메운다. 관람객이 스크린에 완전히 몰입, 주인공의 상황을 실감 나게 체험하는 순간이다.

영화를 즐기는 기준이 새로워지고 있다. ‘언제, 어디서 볼 것인가’를 넘어 ‘어떻게 볼 것인가’까지 고를 수 있게 됐기 때문이다. 2D(평면 영상)에서 3D(입체 영상), 다시 4D(감각 체험 영상)으로 넘어오며 대형 스크린 아래 우두커니 앉아있던 관객은 조금씩 ‘스크린 속 장면의 일부’가 되기 시작했다.

▲최승문 교수가 제자들과 함께 연구하는 공간엔 4D영화 전용관에 있는 것과 동일한 무빙 체어(moving chair)가 설치돼있다. 대당 단가가 상당한 고가 장비지만 보다 효율적인 연구를 위해 특별히 주문, 제작한 것이다

요즘 최승문(47) 포항공과대학교 컴퓨터공학과 교수의 관심사는 ‘어떻게 하면 4D 효과 제작에 들이는 품을 줄일 수 있을까?’에 온통 쏠려있다. 개별 장면을 일일이 분석한 후 4D로 제작했던 게 기존 방식이라면 그가 연구 중인 ‘가상현실을 위한 지각·감성 동작 효과 시스템’은 상황별 4D 효과를 자동으로 생성, 적용하려는 게 목표다. 이 프로젝트가 성공을 거두면 자동 생성된 4D 효과를 실시간으로 송출하는 것도 가능해진다.

최 교수는 이 프로젝트의 혁신성과 실험 정신을 인정 받아 2018 하반기 삼성전자 미래기술육성사업(이하 ‘미래기술육성사업’) 지원과제의 주인공이 됐다. 지난달 31일, 흡사 극장 상영관을 통째로 옮겨놓은 듯 대형 스크린에 4D 영상 관람 전용 의자까지 구비된 그의 ‘놀이터 같은’ 연구실을 찾았다.

“좋은 성과 나오려면 연구자 발목 잡는 ‘중복 과제’ 허들부터 걷어내야”

세상만사엔 다 때가 있는 법. 최승문 교수와 미래기술육성사업 간 만남의 이면에도 완벽한 ‘타이밍’이 존재했다. 사실 이번 연구의 전신은 최 교수가 모 국가 과제에 선정돼 3년간 이어온 기초 연구다. 지원 기간 종료 후에도 후속 연구를 이어갈 방법을 찾던 그의 눈에 우연히 띈 게 다름아닌 미래기술육성사업이었다. “미래기술육성사업은 학계에서도 경쟁률 세고 심사 까다롭기로 유명해요. 다들 삼수(三修)는 기본이라더군요. 연구 책임자로 도전한 첫 시도 만에 지원 과제로 선정됐으니 전 무척 운이 좋은 경우죠.”

이번 기회는 최 교수에게 특히 소중하다. 4D 효과 제작과 관련, 수 년간 연구해온 과제를 ‘끊김 없이’ 심화 단계로 이어갈 수 있게 해줬기 때문이다. 그가 이처럼 연구의 연속성을 강조하는 데엔 그럴 만한 근거가 있다. “어떤 학자가 A사업의 지원을 받아 과제를 수행했다고 가정해볼까요? 학자 입장에선 지원 기간 종료 여부와 무관하게 해당 과제를 계속 이어 연구하고 싶을 수 있습니다. 하지만 B사업 운영진의 눈에 그런 시도는 십중팔구 ‘중복 과제’로 비치죠. 이런 풍토가 반복되면 아무리 좋은 연구도 기초 단계를 넘어서지 못합니다.”

최승문 교수는 “이번 연구도 처음 2년가량은 관련 분야를 공부하고 다양한 시도를 거듭하는 기간이었던 만큼 가시적 성과를 내기가 쉽지 않았다”고 말했다. “이제 좀 깊이 있는 결과물을 낼 수 있을 것 같다, 싶을 때에 (지원 종료로) 연구가 중단되고 ‘중복 과제’의 허들에 걸려 다른 사업에 지원할 수 있는 길도 막힐까 봐 걱정이 컸어요. 다행히 미래기술육성사업 심사 단계에서 ‘심화 연구가 필요한 연구’란 공감대가 형성돼 새로운 기회를 얻을 수 있었죠.” 그는 “여러 학자가 동일한 주제를 다룬다 해서 모두가 같은 길로 가진 않을뿐더러 다양한 갈래의 길을 개척하기 때문에 획기적 해답을 도출할 가능성이 오히려 커진다”며 “연구자를 믿고 좀 더 먼 곳을 내다보는 연구 지원 풍토가 자리 잡길 바란다”고 말했다.

한 땀 한 땀 손으로 입히던 4D 효과, 일부를 ‘알고리즘화’ 할 수 있다면?

영화에 4D 효과를 입히는 일은, 아직까진 ‘사람’의 영역이다. 극의 기승전결 구조를 감안, 어느 부분에 어떤 효과를 줄 건지 결정한 후 ‘한 땀 한 땀’ 적절한 효과를 줘야 하기 때문. 보다 정교한 몰입감을 부여하기 위해 같은 장면을 수십 번 돌려보며 작업해야 하는 경우가 태반인 만큼 인력과 시간의 투입량이 어마어마하다.

▲최승문 교수는 손님들이 연구 주제를 궁금해하면 구구절절 설명하는 대신 연구실 내 4D 무빙 체어에 앉혀놓고 연구실에서 직접 제작한 콘텐츠를 보여준다. 사진은 ‘1인칭 시점의 롤러코스터 4D 효과’ 체험 콘텐츠가 상영 중인 모습

최승문 교수는 이 수작업 공정의 일부를 알고리즘화(algorism化)했다. 모션 효과를 세세히 분류해 일정한 체계를 구축한 다음, 시스템이 스스로 영화 내 영상과 소리를 분석해 각 체계에 적합한 모션 효과를 만들어내도록 한 것. 그는 “요즘은 스크린 속 인물이 왼쪽으로 움직이면 의자를 반대 방향으로 꺾어 효과를 극대화하는 등 알고리즘을 다듬는 단계”라며 “자동 시스템에 수작업을 적절히 섞어 한층 섬세한 효과를 구현해나가려 한다”고 말했다.

최근엔 ‘관객의 감성을 인지하는 4D 효과’로까지 나아가기 위한 준비도 시작했다. “가끔 일반인을 대상으로 이런저런 테스트를 실시하는데 반응이 다양해요. ‘이 효과는 어지러워요’ ‘이 장면에선 집중이 잘 안 돼요’ ‘실제 화면에 들어가있는 것 같아요’ 같은 반응을 듣다 보면 앞으론 개개인의 감성 영역을 특성화할 필요가 있겠구나, 싶죠. 현재로선 그 분야에 대한 실험이나 연구 결과가 전무한 상태거든요.”

4D영화 기술이 상용화된 건 2009년. 역사로 치면 10년이 다 돼가지만 최 교수에 따르면 아직 갈 길이 멀다. “4D 업계가 진정으로 활성화되려면 지금부터라도 두 팔 걷어붙여야 합니다. 기반을 다지고 심화시키려는 노력이 필요하죠.” 그가 이 분야의 ‘오픈소스 생태계’를 구축하려는 것 역시 그 때문이다. “같은 분야 연구자끼리 각자 연구한 결과와 데이터 소스를 공유하며 동향을 파악해나가는 과정에서 기술 발전은 자연스레 이뤄질 것”이란 게 그의 설명이다.

“미래기술육성사업, 젊은 과학자들에게 ‘커리어 보증서’로 통하는 날 오길”

미국엔 ‘커리어어워드(CAREER Award)’란 시상 제도가 있다. 미국 국립과학재단(National Science Foundation, NSF)이 전도유망한 이공계 신진 교수에게 수여하는 상이다. 미국 내에서 커리어어워드는 ‘테뉴어[1]행 티켓’으로 불릴 만큼 경쟁이 치열하다. 수상 경력이 일종의 ‘보증서’ 역할을 하는 것이다.

▲모처럼 연구실 식구들과 단풍 가득한 교정에 선 최승문 교수. 그는 늘 제자들에게 “세계적 성과를 내는 것도 좋지만 그보다 중요한 건 자신의 수준을 한 단계 업그레이드하는 목표 설정”이라고 조언한다

최승문 교수는 “미래기술육성사업도 젊은 과학자 사이에서 커리어어워드 같은 위상으로 인식됐으면 좋겠다”고 말했다. 그렇게 되기만 하면 혁신적 아이디어를 지닌, 유능한 연구진은 자연스레 몰려들 거란 얘기다. 그는 “(미래기술육성사업이) 연구자의 자율성을 보장해주는 프로그램인 만큼 실제로 과제 지원을 신청하는 청년 과학자의 비중이 높은 걸로 알고 있다”며 “앞으로도 깐깐한 전형과 ‘어벤져스급’ 심사위원단 구성 등 사업 수준을 현행대로 유지해 전 세계의 내로라하는 과학자들이 앞다퉈 도전하는 등용문으로 거듭나길 바란다”고 덧붙였다.

최 교수가 삼성전자에 건넨 마지막 당부는 “지금 이 시각에도 어딘가에서 자신의 연구 분야에 몰두해 있을 재야의 고수들에게 관심을 가져 달라”는 것이었다. “세상을 바꿀, 유의미한 결과는 비단 대규모 프로젝트에서만 나오지 않습니다. 열악한 환경에서 좌절하지 않고 끊임없이 뭔가를 만들어내는 연구자가 의외로 많아요. 그들을 적극 발굴, 꾸준히 지원하는 풍토가 조성되면 우리나라 과학계도 고루 성장할 수 있을 겁니다.”

[1]tenure. 대학에서 교수의 평생고용, 즉 종신재직권을 보장해주는 제도. 교수로 임용된 후 일정 기간 동안의 연구 실적과 강의 능력 심사를 통해 결정된다