[QLED 8K 비하인드 스토리 – 4편] 소리 방향 읽고 자유자재 컨트롤… AI로 이뤄낸 ‘사운드 혁신’

바야흐로 홈 엔터테인먼트 시대다. ‘집’이 단순 주거공간에서 벗어나 새로운 문화공간으로 탈바꿈하고 있다. 그 중심에 놓여 있는 TV는 사용자에게 최상의 콘텐츠 경험을 제공하기 위해 초대형·초고화질 시대를 열어나가고 있다. 압도적 화질에 더해져 손에 잡힐 듯한 입체감을 완성하는 데 묵직한 힘을 실어주는 요소, 바로 ‘사운드’다.

삼성전자는 2020년형 QLED 8K를 통해 ‘듣는 경험’을 한 차원 끌어 올렸다. 인공지능을 입혀 새롭게 구현한 ‘AI 퀀텀 사운드’로 영상의 움직임을 따라가는 △무빙 사운드+, 사용자 주변 시청 환경을 읽는 △액티브 보이스, 사운드바와 함께 입체 음향을 완성하는 △Q 심포니를 구현해낸 것. 오랫동안 쌓아 올린 경험과 역량을 바탕으로 ‘소리의 혁신’을 이뤄낸 삼성전자 영상디스플레이사업부 사운드 개발진이 그간의 여정을 풀어냈다.

▲왼쪽부터 2020년형 QLED 8K 사운드 개발을 담당한 삼성전자 영상디스플레이사업부 사운드랩 김영태, 김종배 씨, 사운드디바이스랩 이윤재 씨, 사운드랩 김선민 씨

스포츠는 스포츠처럼, 다큐는 다큐답게… 소리의 움직임까지 읽는 ‘무빙 사운드+’

박진감 넘치는 사운드를 가진 액션 영화는 극장에서 봐야 실감 난다. 그도 그럴 것이, 극장의 음향 시스템은 다수의 스피커를 이용해 전후좌우 전 방향에서 입체적인 사운드를 제공하는 멀티채널이기 때문. 스피커가 좌우에 하나씩 자리한 2채널 음향에 비해 실제 그곳에 있는 듯한 느낌을 전해준다. 그렇다면 집에서도 콘텐츠를 이처럼 몰입감 있게 즐길 순 없을까? 개발진들은 6개의 스피커를 통해 영상의 움직임을 따라가는 ‘무빙 사운드+’로 답을 내놨다.

무빙 사운드+는 영상 속 사물이 움직이면, TV에 탑재된 스피커를 따라 사운드도 함께 움직이는 기술이다. 자동차가 좌측에서 우측으로 움직이면 소리도 그 방향을 따라가고, 무거운 물체가 위에서 아래로 떨어지면 소리도 함께 떨어지는 식.

개발진은 이처럼 ‘움직이는’ 소리를 구현하기 위해 기존 2개였던 QLED TV 내의 스피커를 6개로 늘렸다. 김종배 씨는 “양쪽 측면, 아래, 위쪽 각각 2개씩 총 6개의 스피커를 배치해 모든 방향에서 사운드가 나올 수 있게 했다”면서 “양쪽 스피커 사이의 거리를 최대한 넓히고, 추가로 측면 스피커를 놓음으로써 수평 방향 공간감과 입체감을 극대화했다”고 전했다. 위쪽에도 스피커를 두어 수직 방향으로도 입체적 사운드 표현이 가능해졌다. 그는 “스피커 존재를 느낄 수 없는 초박형 미니멀 TV 디자인을 유지하면서도 6개 스피커를 분리 구현한 것이 핵심”이라고 덧붙였다.

영상 속 소리의 움직임을 ‘잘’ 따라가기 위해선, 콘텐츠 원작자의 의도를 파악하는 것도 중요하다. 사운드가 멈춰 있으면 멈춰진 대로, 복잡하게 움직이면 움직이는 대로 과장 없이 표현해야 한다는 것. 김종배 씨는 “콘텐츠에 사운드를 믹싱하는 엔지니어는 화면을 직접 보고, 다양한 오디오 신호를 배치한다. 무빙 사운드+는 이처럼 녹음된 신호를 잘 읽어내는 기술”이라면서 “이 소리가 화면 밖인지, 화면 안인지, 저 멀리서 오는 건지, 위에서 오는 건지를 잘 분석해내고 그걸 TV 내 어떤 스피커로 분배해야 효과적으로 들릴 수 있는지를 연구했다”고 말했다.

명대사 놓치는 실수는 그만… 자유자재로 소음 컨트롤하는 ‘액티브 보이스’

드라마의 하이라이트 신이 믹서기 소리에 묻히고, 뉴스 앵커의 주요 멘트가 창문 밖 굉음에 가려질 때, 주변 어딘가에 있는 리모컨을 찾아 볼륨을 조절하는 것은 무척 번거롭고 힘든 일이다. ‘액티브 보이스’는 이 같은 상황에서 힘을 발휘한다. 주변 소음을 감지해 TV 속 목소리를 더 크고 명료하게 만들어주기 때문이다.

구동 원리는 이렇다. 먼저 TV 하단 중앙에 부착된 ‘사운드 센서’가 TV에서 나오는 소리와 주변 소리를 모니터링한다. 이후 두 소리를 AI 기술로 분리해 소음의 크기를 비교한다. 만약 TV 소리보다 주변 소음이 작을 경우엔 그대로 재생하고, TV 소리보다 주변 소음이 클 땐 TV 내 음성을 키우는 것. 김선민 씨는 “소음의 종류는 정해져 있지 않고, TV 시청을 방해하는 모든 요소를 포함한다”라면서 “일정 데시벨을 넘는 소리가 지속되면 모두 소음으로 판단한다”고 설명했다.

주변 소음이 커진다고 TV의 전체 음량을 높이는 것은 아니다. 막연히 볼륨을 키우게 되면 안 그래도 소음 때문에 시끄러워진 환경이 더 복잡해질 뿐이다. 김선민 씨는 “AI를 활용해 효과음이나 배경음은 그대로 두고, 보이스만 추출해 음량을 키운다. 분석 결과 TV로 재생되는 대부분의 콘텐츠에는 대사가 포함돼 있었다. 대사전달력을 높이는 게 콘텐츠 전후 사정을 이해하는 관건이라고 생각했다”고 말했다.

TV와 사운드바, 함께 하니 좋지 아니한가… 집에서 즐기는 오케스트라 ‘Q 심포니’

현장감 있는 사운드를 구현하기 위한 요소 중 하나가 수평과 수직 모두를 포함한 ‘입체’ 음향이다. 지금까지는 TV와 사운드바가 각각 독립적인 제품으로 입체 음향을 구현하는 추세였다. 하지만 2020년형 QLED TV에 위쪽 방향 스피커가 생기면서, TV와 사운드바 각각의 장점을 활용해 시너지를 낼 수 있는 기술이 개발되었다. 마치 오케스트라처럼, TV 스피커와 사운드바가 동시에 소리를 재생하는 ‘Q 심포니’ 기술이다. 이런 기능을 최초로 구현한 Q 심포니는 CES 2020 혁신상을 받으며 기술력을 인정받았다.

이윤재 씨는 “각각 특성이 다른 스피커를 활용해 사운드를 조화롭게 재생하는 Q 심포니 기술의 핵심은, 사전에 약속된 사운드 재생 규칙을 잘 따르고, TV와 사운드바가 연결됐을 때 서로 필요한 정보를 원활하게 주고받아 그 정보를 소리에 반영하는 것”이라고 설명했다. 이어 “‘TV와 사운드바 간의 소리가 재생되는 타이밍, 크기를 맞추어 최적화된 사운드로 조율하는 것이 중요하다”면서 “어떤 소리를 나눠서 낼지, 어떻게 해야 조화로운 소리가 날지를 알고리즘적으로 구현했다”고 말했다.

두 기계에서 동시에 목소리가 나오게 되면, 상대적으로 또렷하게 들리지 않는다는 난제도 존재했다. Q 심포니는 각각의 역할을 나누는 것으로 이를 해결했다. 이윤재 씨는 “TV 스피커에서는 목소리를 포함한 메인 신호를 빼고 효과음 위주의 서라운드 신호를 추출해서 재생한다. 반대로 사운드바에서는 목소리를 포함한 메인 신호 위주로 재생하며 서로의 역할을 채워준다. 이처럼 Q 심포니 사운드는 각 장점을 하모니처럼 살려서, 사용자에게 최고의 음향을 전달하는 것”이라고 설명했다.

“시청환경에 구애받지 않도록, ‘생김새’부터 파악해 좋은 소리 만들 것”

TV 스피커의 개수를 늘리며 새로운 자리에 배치하고, AI 기술·사운드바와 조우를 이뤄내기까지. 개발팀은 “다양한 부서와 긴밀한 협업이 있었기에 가능했다”고 입을 모은다. 김영태 씨는 “TV를 만드는 기구와 회로, AI 프로세서를 돌리기 위한 칩, 패널 등 모든 부문에 혁신이 있어야 했다. 서로 열린 마음으로 다양한 솔루션을 제시하며 수많은 기술적 허들을 넘어왔다”며 그간의 여정을 되돌아봤다.

▲2020년형 QLED 8K 사운드의 특징을 설명하고 있는 김영태(왼쪽), 김선민(오른쪽) 씨

사운드 개발진은 지금까지 그래왔듯, ‘좋은 소리’를 향한 고민을 멈추지 않는다. 미국 LA에 위치한 오디오랩과 협력해 미래 음향 기술을 확보하고, 삼성리서치 산하 연구소들, 유수 대학이나 스타트업 전문가들과의 협력도 이어간다. 김영태 씨는 “말 그대로 소리가 ‘생긴 대로’ 잘 표현하고 싶다. 이를 위해 엔드 투 엔드(End-to-End)로 소리를 만들 때부터의 과정을 잘 이해하고, 최적으로 구현하기 위해 노력해 나갈 것”이라는 계획을 밝혔다.

이렇게 구현한 사운드 혁신은 삼성이 열어가는 ‘스크린 에브리웨어(Screens Everywhere)’ 시대 본격화에도 힘을 보탠다. 김선민 씨는 “소비자들의 편리함을 위해 앞으로는 AI를 활용해 소비자가 직접 리모컨을 찾지 않아도 되는 시대를 열어나가고 싶다”는 포부도 전했다.

“TV 설치 조건·라이프스타일·연령층 등은 시간이 지날수록 다양해진다. 어떤 환경에서 어떤 콘텐츠를 시청하든, 사용자에게 우리가 의도한 그대로의 소리를 들려주고 싶다”는 사운드 개발진들이 구현해나갈 미래 홈 엔터테인먼트 시대를 기대해본다.