개방형 3D 오디오 규격 ‘IAMF(Immersive Audio Model and Formats)’ 기반의 이클립사 오디오는 TV와 사운드바 등 재생 환경에 따라 콘텐츠에 담긴 소리의 위치와 공간 정보를 최적화해, 보다 몰입감 있는 청취 경험을 제공한다. 무대 위 음악부터 객석의 환호까지 입체적으로 전달해 삼성 TV 플러스의 뮤지컬과 공연 실황 콘텐츠를 현장감 있게 즐길 수 있다.

이러한 혁신은 3D 오디오 기술을 연구한 삼성리서치와 이를 실제 제품과 서비스에 구현한 VD사업부의 긴밀한 협업을 통해 완성됐다.

삼성전자 뉴스룸이 이클립사 오디오 개발에 참여한 삼성리서치 Display Innovation랩 남우현 랩장과 VD사업부 TV Plus 그룹 최준헌 그룹장을 만나 기술의 특징과 개발 과정에 얽힌 이야기를 들어봤다.

공연장에 들어간 듯한 오디오 경험

공연 실황의 감동은 화면만으로 완성되지 않는다. 무대 위 목소리와 음악, 객석의 박수와 환호가 어우러질 때 비로소 현장의 몰입감이 살아난다. 삼성 TV 플러스에 적용된 이클립사 오디오는 이러한 공연 콘텐츠의 시청 경험에 새로운 변화를 더했다.

Q. 삼성 TV 플러스에 이클립사 오디오가 적용되면서 소비자가 체감할 수 있는 가장 큰 변화는 무엇인가?

최준헌 그룹장(VD): 가장 큰 변화는 직접 공연장을 찾지 않아도 집에서 뮤지컬과 공연 현장의 감동을 즐길 수 있게 됐다는 점이다. 삼성 TV 플러스가 공연 콘텐츠를 보다 쉽게 접할 수 있도록 했다면, 이클립사 오디오는 공연장의 풍성한 사운드를 거실에서도 실감나게 느낄 수 있도록 관람 경험의 완성도를 높였다.

단순히 공연을 화면으로 시청하는 것을 넘어, 작품의 음악과 감정에 더욱 깊이 몰입할 수 있는 새로운 경험이 소비자가 가장 크게 체감할 변화라고 생각한다.

*이어폰으로 청취하는 것을 추천합니다.

Q. 최근 삼성 TV 플러스에서 새롭게 선보인 뮤지컬 콘텐츠는 음향이 특히 중요할 것 같은데, 이클립사 오디오 기술이 구체적으로 어떤 부분에 기여하는지 궁금하다.

남우현 랩장(SR): 뮤지컬은 일반 영상 콘텐츠와 다르게 배우의 노래와 대사뿐 아니라 오케스트라와 효과음, 관객의 박수와 환호가 조화를 이뤄야 작품 특유의 감동이 살아난다. 이클립사 오디오는 이러한 소리를 각각의 특징에 맞는 공간 정보와 함께 담아낸다. 배우의 목소리는 무대 중앙에서 또렷하게, 오케스트라의 연주는 무대를 감싸듯 풍성하게, 객석의 박수와 환호는 시청자 주변에서 퍼져 나가는 것처럼 표현하는 방식이다.

또한 TV 단독으로 감상하는지, 사운드바를 함께 사용하는지 등 실제 재생 환경에 맞춰 소리의 균형과 공간감을 조정한다. 이를 통해 가정에서도 무대의 깊이감과 풍성한 음악, 객석의 분위기를 보다 실감 나게 느낄 수 있다.

공연 실황 느낌 그대로, 입체감 있는 공간감 구현 기술

공연 실황 콘텐츠의 몰입감은 무대와 객석 곳곳에서 들려오는 소리의 위치와 거리감까지 자연스럽게 전달될 때 완성된다. 이를 구현하는 핵심 기술이 바로 공간 음향 기술이다.

Q. 이클립사 오디오는 공연장의 입체적인 현장감을 어떻게 구현하나?

남우현 랩장(SR): 이클립사 오디오의 가장 큰 특징은 콘텐츠 속 소리를 좌우로만 펼치는 데 그치지 않고, 전후좌우는 물론 높이 정보까지 반영해 입체적인 공간감으로 표현한다는 점이다. 배우의 목소리와 악기 연주, 공연장의 울림, 관객의 박수와 환호가 각각의 위치와 거리까지 고려하여, 시청자가 공연장 객석에 앉아 있는 듯한 현장감을 느낄 수 있다.

이러한 공간 음향은 3D 오디오 정보를 담아 전달하는 개방형 규격인 IAMF를 기반으로 구현된다. 이클립사 오디오는 콘텐츠에 담긴 소리의 위치와 움직임 등 공간 정보를 TV나 사운드바의 스피커 구성에 맞게 재구성해, 제작자가 의도한 무대의 깊이감과 몰입감을 가정에서도 자연스럽게 전달한다.

또한 IAMF가 특정 코덱이나 라이선스에 종속되지 않는 개방형 규격인 만큼, 이클립사 오디오는 다양한 콘텐츠와 기기 환경으로 확장하기에 유리하다. 이를 바탕으로 뮤지컬과 콘서트는 물론, 영화와 스포츠 등 현장감이 중요한 여러 콘텐츠에서 몰입형 오디오 경험을 제공할 수 있다.

기술 연구와 서비스 구현, 협업으로 완성한 이클립사 오디오

이클립사 오디오가 실제 시청 경험으로 이어지기까지는 삼성리서치와 VD사업부의 밀도 높은 협업이 있었다. 오디오 기술 연구부터 삼성 TV 플러스 서비스 구현까지 각 조직의 전문성이 더해지며 완성도를 높였다.

Q. 이클립사 오디오를 삼성 TV 플러스의 실제 서비스로 구현하기 위해 어떻게 협업했나?

남우현 랩장(SR): 삼성리서치는 이클립사 오디오 콘텐츠가 삼성 TV 플러스에서 안정적으로 전송되고 재생될 수 있도록 핵심 오디오 기술과 기반 시스템을 개발했다. 콘텐츠에 담긴 공간 음향 정보를 IAMF 포맷으로 구성하고, 이를 실제 서비스에서 처리할 수 있는 인코딩과 재생 기술을 구현했다. 특히 TV와 사운드바 등 사용자의 기기 환경에 맞춰 입체 음향을 재구성해, 이클립사 오디오를 지원하지 않는 기존 기기에서도 일반 스테레오 음향으로 콘텐츠를 감상할 수 있도록 하위 호환성도 고려했다.

쉽게 말해, 삼성리서치는 이클립사 오디오가 연구 단계의 기술에 머무르지 않고 삼성 TV 플러스에서 안정적으로 작동할 수 있도록 기술적 기반을 마련했다.

최준헌 그룹장(VD): VD사업부는 삼성리서치가 개발한 이클립사 오디오 기술을 실제 TV 제품에 탑재할 수 있도록 상품화 개발을 담당했다. 삼성 TV 플러스에 이클립사 오디오를 적용할 수 있는 콘텐츠를 확보하고, 이를 TV 플러스 채널로 구성해 시청자에게 제공하는 역할을 맡았다.

Q. 실제 서비스를 구현하는 과정에서 특히 공들인 부분이 있다면?

남우현 랩장(SR): 실제 시청자가 공연의 현장감과 몰입감을 충분히 느낄 수 있는지 확인하는 데 가장 많은 공을 들였다. 이를 위해 VD사업부와 함께 삼성 TV 플러스의 라이브 스트리밍 환경에서 이클립사 오디오가 안정적으로 적용되는지 살펴보고, 공연 실황의 공간 음향이 화면 너머까지 제대로 전달되는지를 집중적으로 검증했다.

특히 280석 규모의 공연장에서 전문 콘서트 음향 엔지니어링 업체와 함께 테스트 콘서트를 진행했다. 실제 아티스트의 라이브 공연을 대상으로 현장의 공간 음향을 제작하고 이클립사 오디오로 변환한 뒤, 삼성 TV 플러스 채널을 통해 실시간으로 송출하고 TV에서 재생하기까지의 전 과정을 점검했다. 음악과 보컬이 또렷하고 풍성하게 들리는지, 그리고 관객의 함성과 공연장의 울림이 입체적으로 살아나는지도 귀로 직접 확인했다. 이렇게 기술의 완성도와 함께 실제 시청자가 체감하는 생생함을 검증하는 데 중점을 뒀다.

최준헌 그룹장(VD): 이클립사 오디오를 적용할 콘텐츠를 확보하고, 콘텐츠 파트너사의 참여를 이끌어내는 데 많은 공을 들였다. 공간 음향 기술이 아직 콘텐츠 제작사에 익숙하지 않은 데다, 실제 콘텐츠에 적용하기 위해서는 제작 과정에서 별도의 준비와 협업이 필요했기 때문이다. 이에 이클립사 오디오가 콘텐츠의 몰입도를 높이고 더 많은 시청자에게 작품을 알릴 수 있다는 점을 꾸준히 설명하며, 여러 제작사와 협업을 이어갔다.

Q. 실제 서비스에 적용하는 과정에서 가장 어려웠던 과제는 무엇이었나?

최준헌 그룹장(VD): 가장 큰 과제는 이클립사 오디오 콘텐츠와 기존 광고 음향이 자연스럽게 이어지도록 하는 것이었다. 삼성 TV 플러스는 방송 중간에 광고가 삽입되는 FAST* 서비스다. 콘텐츠는 IAMF 기반의 입체 음향으로 제공되지만, 광고는 기존 스테레오 방식으로 송출되기 때문에 서로 다른 오디오 포맷이 하나의 방송 흐름 안에서 끊김 없이 전환돼야 했다.

*FAST(Free Ad-supported Streaming TV): 광고 기반 무료 스트리밍 TV

특히 콘텐츠와 광고가 전환될 때 소리의 타이밍이 어긋나거나 영상과 음향의 싱크가 흐트러지지 않도록 하는 것이 중요했다. 삼성리서치는 음향 포맷과 처리 기술을 바탕으로 해결 방안을 검토하고, VD사업부는 실제 서비스 운영 조건과 광고 송출 구조를 공유했다. 이렇게 두 조직은 콘텐츠와 광고를 오가는 상황에서도 안정적인 재생이 가능하도록 전환 정책을 함께 설계하고 구현했다.

남우현 랩장(SR): 다양한 기기 환경에서도 콘텐츠를 끊김 없이 즐길 수 있도록 하는 것도 중요한 과제였다. TV 단독 시청과 사운드바 연결 환경은 물론, 이클립사 오디오를 지원하지 않는 기존 기기까지 고려해야 했다. 이를 위해 지원 기기에서는 공간 음향의 입체감을 살리고, 미지원 기기에서는 일반 스테레오로 자연스럽게 재생되도록 전송과 재생 구조를 만들었다.

공연을 더욱 몰입감 있게 경험하는 방법

이클립사 오디오는 공연장의 현장감을 거실로 옮기는 데서 한발 더 나아가, 시청자가 콘텐츠를 자신만의 방식으로 즐길 수 있는 새로운 관람 경험을 열고 있다.

Q. 실제 사용자들의 반응은 어땠으며, 공연 콘텐츠를 더욱 생생하게 즐길 수 있는 방법을 추천해준다면?

최준헌 그룹장(VD): 실제 콘텐츠를 경험한 사용자들로부터는 거실에서도 공연장에 있는 듯한 몰입감을 느낄 수 있었고, 일부 장면에서는 오히려 소극장 무대보다 더 만족스러운 경험이었다는 반응도 있었다. 특히 이클립사 오디오가 적용되지 않은 콘텐츠와 비교했을 때 체감 차이가 컸으며, 한 번 경험한 뒤에는 관련 콘텐츠와 기능이 더 확대되기를 바란다는 의견도 이어졌다.

공연 콘텐츠를 더욱 생생하게 즐기려면 삼성 TV와 삼성 사운드바를 함께 사용하는 것을 추천한다. 두 기기가 연동되면 더욱 풍부한 다채널 음향으로 무대의 음악과 배우의 목소리, 객석의 반응이 어우러지는 공간감을 느낄 수 있을 것이다. 또한 멀티캠 기능도 적극적으로 활용하면 좋다. 전체 무대를 감상하다가 하이라이트 장면에서는 특정 배우의 표정과 움직임에 집중하는 식으로 자신만의 관람 방식을 만들 수 있다.

Q. 앞으로의 목표와 계획은?

남우현 랩장(SR): 사용자가 기술을 의식하지 않아도 자연스럽게 더 좋은 사운드를 경험하도록 하는 것이 목표다. TV를 켰을 뿐인데 공연장의 현장감이 느껴지고, 스포츠 중계를 보는 동안 경기장 한가운데 있는 듯한 생생함을 구현하고 싶다. 장기적으로는 음악 콘텐츠에서 보컬이나 특정 악기를 강조하고, 스포츠 콘텐츠에서는 해설과 현장음 가운데 원하는 소리를 선택하는 등 개인화된 오디오 경험으로도 확장해 나가고자 한다.

“Spatial Audio for Everyone, 삼성 TV 플러스를 통해 누구나 이클립사 오디오를 즐길 수 있는 ‘모두를 위한 공간 음향’의 시대를 열고 싶습니다.”

최준헌 그룹장(VD): 앞으로는 뮤지컬을 넘어 K팝 콘서트와 클래식 공연, 영화, 스포츠 등으로 이클립사 오디오의 적용 범위를 확대해 나갈 계획이다. 나아가 시간과 장소의 제약 없이 누구나 수준 높은 공연을 즐길 수 있도록, 삼성 TV 플러스를 새로운 공연 경험 플랫폼으로 발전시키고 싶다.

“삼성 TV 플러스를 통해 거실에서도 프리미엄 공연장에 있는 듯한 현장감과 공간감을 누리는 시청 경험을 넓혀가겠습니다.”

삼성 TV 플러스와 이클립사 오디오는 앞으로도 더욱 몰입감 있는 시청 경험을 제공하기 위한 노력을 이어나갈 예정이다. 기술과 서비스가 만나 만들어낸 이번 시도가 엔터테인먼트 경험에 어떤 변화를 가져올지 기대를 모은다.