[인터뷰] 실감 나는 3D 오디오의 세계…차세대 오디오 기술 규격화의 주역을 만나다

영화, 콘서트 실황, 스포츠 경기 등 다양한 종류의 영상 콘텐츠를 더욱 재미있게 보기 위해서는 뛰어난 화질뿐만 아니라, 화면 속 세상을 실감 나게 느끼게 해 주는 ‘오디오 효과’도 중요하다. 그래서 우리는 종종 ‘3D 오디오’ 효과를 제공하는 영화관을 찾아가 마치 영화 속에 빨려 들어가는 듯한 입체적인 음향을 즐기곤 한다.

영화를 볼 때 비행기가 내 머리 위를 지나가고 있는 듯한 생생함을 느끼게 해주는 음향 기술, 다시 말해 ‘3D 오디오’는 주로 영화관이나 스튜디오와 같은 특수한 환경에서만 경험할 수 있었다. 하지만 이제 누구나 집에서도 입체감이 느껴지는 3D 오디오 콘텐츠를 즐길 수 있는 새로운 길이 열렸다.

삼성전자 산하 선행연구조직인 삼성리서치(SR)는 3D 오디오의 진정한 대중화를 위해 지난 2020년부터 여러 방면에서 많은 노력을 기울여 왔다. 그 결과 2023년 10월, 구글(Google)과 공동 개발한 3D 오디오 기술이 오픈미디어 연합(AOM)^*에서 최초 오디오 기술 규격으로 채택되는 값진 결실을 보았다. 기술의 공식 명칭은 “Immersive Audio Model and Formats (이하 IAMF)”이다. 뉴스룸이 이번 성과의 주역들을 만나봤다.

^{* 오픈미디어 연합(AOM, Alliance for open media): 콘텐츠 제작자들이 비용 부담 없이 멀티미디어 전송 기술을 사용할 수 있도록 기술 개발과 공유를 목표로 운영하는 비영리 산업 컨소시엄. 삼성전자, 구글(Google), 아마존(Amazon), 애플(Apple), 메타(Meta) 등을 포함한 38개 사 연합으로 운영되고 있음}

▲ 3D 오디오 기술 규격화를 주도한 삼성리서치 Visual Technology팀 (왼쪽부터) 황성희 프로, 박정훈 팀장, 남우현 프로

집에서도 즐기는 3D 오디오 콘텐츠 세상을 위한 노력

현실 세계엔 언제나 배경이 있다. 거리에서 누군가와 대화할 때 배경에는 지나다니는 사람들과 자동차, 빌딩 등이 있을 것이다. 그 모습을 영상으로 표현했을 때 대화 소리만 또렷하게 들린다면 어떨까? 주변 사람들의 웅성거림이나 오가는 발걸음 소리, 빌딩 사이의 바람 소리가 하나도 들리지 않는다면, 그 영상은 공간감도, 생동감도 갖지 못하게 된다.

삼성리서치 Visual Technology팀 남우현 프로는 “3D 오디오는 우리가 살고 있는 3차원 공간에서 느끼는 것을 그대로 표현하기 위해 소리의 위치와 세기, 변화하는 움직임, 공간의 반사음 등을 입체적으로 구현해서 듣는 사람이 마치 그 자리에 실제로 있는 듯한 생생함을 선사하는 기술”이라고 소개했다.

▲삼성리서치 Visual Technology팀 황성희 프로

현장감 넘치는 3차원 음향을 집에서도 고스란히 느낄 수 있다면 좋겠지만, 지금까지는 어려움이 있었다. 삼성리서치 Visual Technology팀 황성희 프로는 “소비자의 집에 있을 법한 일반적인 TV 스피커나 사운드바에서 콘텐츠의 3D 오디오 음향 정보를 정확하게 읽을 수 없는 경우, 제작자 의도를 예상해서 유사한 수준으로만 표현했다”며 기존의 한계에 대해 설명했다.

하지만 삼성전자는 구글과 함께 3D 오디오 기술 규격을 개발하며 이러한 제약을 해결했다. 남우현 프로는 “콘텐츠 속 3D 오디오 데이터를 디바이스 제조사가 읽을 수 있다면, 집에서도 TV와 사운드 바를 통해 입체적인 사운드를 경험할 수 있다”며, “콘텐츠의 음향 데이터를 소비자의 집에 있는 디바이스 환경에 맞게 변형한 후 소리로 구현함으로써, 제작자가 의도한 음향 효과를 왜곡 없이 표현할 수 있는 것”이라고 원리에 대해 설명했다.

이렇게 콘텐츠 제작자와 기기 제조사 사이에 음향 데이터를 원활하게 주고받기 위해서는 통일된 ‘약속’이자 기준, 즉 ‘오디오 기술 규격’이 필요하다. 박정훈 팀장은 “디바이스를 제조하는 삼성전자가 콘텐츠를 만드는 구글과 협력한 이유도 ‘규격화’ 때문”이라며, “이전에 없던 3D 오디오 규격인 IAMF 기술을 개발해, 일반 소비자들도 입체적인 3D 오디오를 일상에서 자유롭게 경험하도록 노력했다”고 전했다.

IAMF 기술의 3가지 특징… ‘수직 방향 음향 효과’, ‘AI 기반 최적의 오디오 제공’, ‘개인 맞춤형 오디오’

IAMF 기술은 소리에 대한 몰입감을 높이기 위한 3가지 중요한 기능을 갖추고 있다.

▲ 삼성리서치 Visual Technology팀 남우현 프로

1. 수직 방향의 소리 구현

기존 개방형 오디오 코덱은 수평 방향의 음향 효과만을 지원했다. 남우현 프로는 IAMF 기술에 대해 “전, 후, 좌, 우뿐만 아니라 상, 하 방향의 움직임까지 소리로 표현할 수 있어 소리의 변화가 사실적이고, 공간감이 풍부한 점이 특징”이라며, “IAMF 기술이 TV와 사운드 바 등 홈 시청 디바이스에 적용될 경우, 영화 주인공의 머리 위에서 새가 날아가는 소리를 실제 시청자의 머리 위에서 들리는 것 같이 표현해 줄 수 있다”고 설명했다.

2. AI 기반 장면 분석 및 3D 오디오 효과 강조

IAMF 기술은 딥러닝 기술 기반으로 콘텐츠 장면을 분석하고 구간별로 최적의 사운드를 제공하는 기능도 갖췄다. 남우현 프로는 “예를 들어 음악이 중심인 구간에서는 소리의 전반적인 밸런스를, 주인공의 대화가 중심인 구간에서는 센터 채널에서의 대화 음을 자동으로 강조하는 기능”이라고 말했다.

이뿐만 아니라, 디바이스가 바뀌어도 최적의 사운드를 제공한다. 황성희 프로는 “IAMF 기술은 장면 분석 음향 데이터를 시청자가 가지고 있는 디바이스 환경에 맞게 적절하게 변형시켜 적용함으로써, 제작자가 의도한 사운드 효과를 일반 TV에서도 경험할 수 있다”고 강조했다.

3. 개인 맞춤형 오디오

IAMF 기술을 활용하면 시청자가 원하는 대로 소리를 자유롭게 조절할 수 있다. 현장의 소리를 강조해서 그 현장을 실감 나게 느끼고 싶은 구간, 출연자의 말을 또렷하게 듣고 싶은 구간, 강조된 효과음으로 몰입하고 싶은 구간 등 사용자 맞춤형으로 오디오를 즐길 수 있다.

▲ 콘텐츠의 장면 데이터를 활용한 오디오 효과 강조 예시. 스포츠 경기 중계방송을 시청할 때, 해설자의 목소리를 강조할지 경기장 현장음을 강조할지 사용자가 직접 선택할 수 있다.

개방형 IAMF 기술로 누구나 3D 오디오 콘텐츠 크리에이터

IAMF기술은 삼성전자를 포함한 구글, 넷플릭스, 메타 등 다양한 글로벌 기업이 속한 오픈미디어 연합(AOM)에서 최초로 채택한 오디오 기술 규격이며, 개방형 기술로 제공되는 첫 번째 오픈소스 기반의 오디오 기술이다. 삼성전자뿐만 아니라 다양한 제조사와 콘텐츠사, 심지어 개인 창작자들도 IAMF 기술을 자유롭게 사용할 수 있고, 3D 오디오에 대한 소비자의 경험도 그만큼 확장될 것이다.

남우현 프로는 “많은 사람들이 자유롭게 3D 오디오 기술이 적용된 콘텐츠를 제작하기 위해서는 관련 기술 개방이 필요하다”라며, “3D 오디오의 제작부터 전송, 재생까지 모든 단계를 오픈소스화함으로써, 더욱 다양한 3D 오디오 콘텐츠 경험이 탄생할 것”이라고 강조했다.

박정훈 팀장은 “OTT를 통해 다양한 콘텐츠를 소비하고 동시에 누구나 OTT를 통해 크리에이터가 될 수 있는 시대에, IAMF 기술은 3D 오디오 생태계 확장에 큰 영향을 줄 것”이라고 자부심을 내비쳤다. 남우현 프로는 “일반 사용자들이 만드는 3D 오디오 콘텐츠가 폭발적으로 증가하는 날이 올 것”이라며 기대감을 표하기도 했다.

실력과 신뢰의 협업이 만들어 낸 빛나는 성과

2020년부터 시작된 이번 연구는 4년 만에 수준 높은 기술을 완성하고 규격화하는 데 성공했다. 통상 10~15년이 걸리는 과정을 어떻게 4년이라는 짧은 기간에 이뤄낼 수 있었던 것일까?

지역과 문화가 다른 글로벌 기업과의 협업이 쉽지만은 않았다고 말하는 황성희 프로는 “구글과 협력하는 과정에서 시차로 인해 밤낮없이 계속 일해야 했고, 또 미국 구글 본사에까지 가서 직접 부딪혀 가며 일하는 것이 힘들었다”고 말했다. “비록 육체적으로는 힘들었지만, 다른 나라 개발자들과 함께 일하며 우리가 주도적으로 성과를 만들어 낼 때 자부심을 크게 느꼈다”라며 당시를 회상했다.

남우현 프로는 “서로 다른 환경에 있던 개발자들과의 협업 자체가 쉽지 않은 과정이었으나 지금은 종종 안부를 전할 만큼 친한 동료 사이가 됐다”며 웃었다.

연구진들의 노력을 가장 가까이서 지켜본 박정훈 팀장은 “한 식사 자리에서 구글 직원이 ‘삼성전자와의 작업이 그동안 해왔던 어떤 협업보다 훨씬 재미있었다’고 말한 것이 기억에 남는다”면서 “실무진들이 두터운 신뢰 관계를 쌓아왔기 때문에 가능했다. 쉽지 않았을 외부 협력 상황임에도 포기하지 않고 끝까지 해낸 팀원들이 자랑스럽고 고맙다”고 전했다.

▲ 삼성리서치 Visual Technology팀장 박정훈 부사장

기술 규격화 승인 마지막 단계까지도 박정훈 팀장이 해결사 역할을 하는 등 이들의 팀워크는 빛이 났다. 박 팀장은 “파트장을 맡은 남우현 프로가 기술 개발 ‘아이디어’를 내는 역할이었다면, 황성희 프로는 아이디어를 일목요연하게 정리하고 문서화하는 ‘작가’ 역할을 한 셈”이라며 남다른 팀워크를 자랑했다.

독보적인 ‘삼성 사운드’ 꿈꾸는 삼성리서치 연구진

IAMF 기술이 정식 규격으로 승인된 순간, 남우현 프로는 ‘이제 시작이다’라는 생각을 가장 먼저 했다. 남 프로는 “IAMF 기술이 열어놓은 새로운 오디오 세상의 가능성을 실현하기 위해 또 다른 기술의 연구를 시작할 때”라고 강조했다. 삼성리서치 연구진은 현재 모바일, 전장, 메타버스, 게임 등 새로운 분야에 적용할 ‘진화된 IAMF 기술’ 개발을 준비하고 있다.

▲ 3D 오디오 기술 규격화를 주도한 삼성리서치 Visual Technology팀 (왼쪽부터) 남우현 프로, 박정훈 팀장, 황성희 프로

3D 오디오 기술을 연구하고 있는 개발진들의 미래 소망은 무엇일까?

남우현 프로는 “3D 오디오를 통해 ‘내가 마치 그 현장에 있는 듯한 느낌의 재현’이라는 기술의 궁극적인 목표를 실현하고 싶다”며, “3D 오디오 콘텐츠 제작 툴이 삼성전자의 스마트폰에 적용되는 날까지 연구에 매진하는 것도 또 하나의 목표”라는 포부를 밝혔다.

황성희 프로는 오디오 기술 전문가로서 가지고 있는 꿈에 대해 이야기했다. “소비자들이 들었을 때 ‘삼성 사운드’라고 알아차릴 수 있을 만큼 차원이 다른 기술을 개발하는 것이 목표”라며, “이번 규격 기술이 꿈을 향한 디딤돌이 되길 바란다”고 전했다.

박정훈 팀장은 “소비자들이 삼성전자의 오디오 기술을 통해 보는 경험만큼이나 발전된 ‘듣는 경험’을 누리는 것”을 꼽으며, “삼성의 오디오 기술을 활용해서 많은 콘텐츠 제작자들이 3D 오디오 콘텐츠를 제작하고 많은 사람들이 쉽고 편하게 즐길 수 있는 세상이 오기를 바란다. 또한, 삼성전자의 오디오 기술 혁신을 위해, 연구원들이 과감한 도전을 할 수 있는 연구 생태계를 만들기 위해 더욱 노력하겠다.”고 말했다.

콘텐츠 제작자의 의도와 사용자의 요구를 반영하는 차세대 오디오 기술 혁신을 위해 소중한 첫 단추를 끼운 빛나는 주역들. 3D 오디오 콘텐츠의 대중화를 위해 정진하고 있는 이들의 행보에 힘찬 응원을 보내며, 이들의 소망들도 모두 이뤄지길 바라본다.