생활 속 AI. 2편: “8K TV도 콘텐츠가 핵심” 인공지능으로 화질은 물론 사운드까지 진화

올림픽 중계방송을 TV로 시청할 때 가장 중요한 것은? 생생한 화질과 사운드가 아닐까. TV 사양이 아무리 좋아도 중계방송 품질이 못 미친다면 현장에 못간 것을 후회할 수 밖에 없다. 그런데 인공지능(AI) 기술이 이제는 실시간 영상의 화질과 사운드까지 8K(7680×4320) 수준으로 알아서 맞춤 개선해준다. 삼성전자가 CES 2018에서 발표한 ‘AI 고화질 변환 기술’ 덕분이다.

특히 이번에 선보인 기술은 8K 수준의 화질은 물론 사운드까지 콘텐츠 특성에 맞춰 장면(Scene)마다 최적화 해준다는 것이 특징이다. 보통의 업스케일링 기술이 화질 개선에 머물러 있었던 것에서 진일보했다. 그렇다면 인공지능을 더해 TV 화질과 사운드를 바꾸는 기술은 일반적인 업스케일링과 어떻게 다를까? 그 원리와 특징을 자세히 살펴보자.

머신러닝 기술로 모든 콘텐츠를 ‘8K’로 만들다

세계 최초로 선보인 8K AI 고화질 변환 기술은 머신러닝(Machine Learning)을 기반으로 한다. 컴퓨터나 스마트폰은 인간이 입력해 놓은 명령 값에 따라 작동한다. 반면, 머신러닝은 기계가 답을 도출해내는 방법을 프로그램으로 부여하지 않는다. 다양한 예시를 통해 인공지능이 패턴을 스스로 학습하고 최적의 결과값을 도출해내는 방식이다.

삼성전자가 개발한 머신러닝 기반의 고효율 고해상도 복원 기술, MLSR(Machine Learning Super Resolution)은 인공지능이 동일한 콘텐츠의 저해상도 버전과 고해상도 버전의 장면들로 구성된 방대한 데이터베이스(DB)를 학습한다. 수많은 영상 콘텐츠를 유형별로 비교해 저해상도와 고해상도 사이의 기술적인 특성, 즉 상관관계를 분석하는 것이다. 이를 바탕으로 어떤 저해상도 콘텐츠가 들어와도 인공지능 스스로 밝기·블랙·번짐 등을 보정하는 최적의 필터를 찾아 8K 고해상도 영상으로 변환해낸다.

특히 입력된 콘텐츠를 프레임 기반으로 ‘실시간’으로 인지하고 장면(Scene) 단위로 개선하는 것이 특징이다. 그래서 생중계, OTT(Over The Top, 인터넷으로 볼 수 있는 TV 서비스) 등 영상 소스에 상관없이 바로 최적의 화질과 사운드를 제공할 수 있다.

8K로 좋아진 화질, 어떻게 다를까?

기존의 업스케일링 기술은 저해상도와 고해상도 장면들을 사람이 일일이 비교해 복원방법을 입력해야 했다. 하지만 AI 고화질 변환 기술은 수백만 개의 영상을 인공지능 스스로 학습할 수 있기 때문에 그 정확도가 기존 기술보다 크게 좋아졌다.

구체적으로 크게 3가지 부분에서 화질이 개선된다. 먼저, 디테일을 중점적으로 살리는 ‘디테일 향상(Detail Creation)’이다. 해상도를 늘리면서 선명도가 떨어지고 뿌옇게 보이는 영역에 질감을 향상시켜 디테일의 세밀한 표현을 높인다. 텍스트나 인물, 혹은 사물의 가장자리까지 정교하게 고해상도로 만드는 ‘엣지 복구(Edge Restoration)’도 눈에 띄게 달라지는 부분이다. 글씨 테두리에 번짐이 있다면 글씨가 있는 영역을 중심으로 화면을 또렷하게 조정하고, 어두운 밤하늘의 달을 보여주는 영상에서는 달그림자의 세밀한 디테일은 살리면서도 달 주변의 블랙 색상을 높여줘 빛 번짐을 막는다. 마지막으로, 고압축이나 재압축에 의한 잡음을 제거하는 ‘노이즈 감소(Noise Reduction)’가 있다. 영상을 전송하기 위해서는 필수적으로 압축을 하게 되는데, 이 과정에서 지글거리는 점이나 네모난 깍두기 같은 형태의 다양한 잡음을 영상 특성에 맞춰 효과적으로 제거할 수 있다.

인공지능(AI)으로 몰입감 넘치는 ‘사운드’까지

드라마나 영화를 실감 나게 감상할 때 화질만큼 큰 역할을 하는 것이 생생한 ‘사운드’다. AI 기술은 고화질로 개선할 뿐만 아니라 사운드까지 영상에 맞춰 최적화한다는 면에서 더욱 차별화된다.

일반적인 TV에서는 ‘영화 모드’, ‘스포츠 모드’ 등 장르에 맞춰 사용자가 리모콘으로 설정하곤 했었다. 하지만 인공지능 기술을 적용하면 단 한번의 설정으로 콘텐츠를 실시간으로 자동 분석하고, 장면(Scene)의 특성을 파악해 가장 적합한 사운드를 제공할 수 있다.

음악을 소재로 한 영화를 생각해보자. 인공지능 기술은 주인공이 공연하는 장면에서는 시청자도 함께 집중할 수 있도록 음악을 강조하고, 공연이 끝난 뒤 관객들이 환호하는 장면에서는 리액션을 현장감 있게 전달한다. 등장인물의 대사가 중요한 부분에서는 목소리가 더 잘 들릴 수 있도록 사운드를 조정한다.

지난주 개막한 평창동계올림픽 중계방송도 마찬가지다. 아나운서가 중계할 때는 말하는 사람의 목소리를 강조하고, 경기가 진행될 땐 관중석의 백그라운드 사운드를 키워, 마치 현장에 있는 것처럼 박진감 넘치는 경기를 즐길 수 있다. 이처럼 장면(Scene)에 맞는 최적의 사운드를 자동으로 설정하기 때문에 사용자는 어떤 콘텐츠라도 실감 나게 감상할 수 있게 된다.

삼성전자 개발자들은 앞으로 각 개인이 TV를 즐기는 방식까지 반영해 사운드가 변화할 수 있도록 개선해 나간다고 했다. 사용자에 따라 선호하는 볼륨 패턴이 다르고 시간과 상황에 따라서도 시청 환경이 달라질 수 있는데, 사운드를 최적화시켜 개인에게 꼭 맞는 즐거움을 선사한다는 계획이다.

AI 고화질 변환 기술로 열어가는 진정한 8K TV 시대

2015년부터 열린 4K UHD(3840×2160) TV 시대가 발전해 이번 평창동계올림픽서 주요 경기를 UHD급으로 중계하기 시작했다. 지난해 5월 지상파 방송사가 초고화질(4K UHD) 본방송 시대를 선언했으나 실제로 이용할 수 있는 4K 콘텐츠는 아직까지도 많지 않은 상황이다. 이제 막 출시되기 시작한 8K(7680×4320) TV에 맞는 영상은 사실상 거의 찾아보기 힘든 게 사실.

삼성전자의 AI 고화질 변환 기술의 개발 배경은 바로 여기에 있다. 디스플레이 기술의 비약적인 발전과는 달리 제한된 고품질 콘텐츠 문제를 해결하기 위해 화질을 자동으로 높이는 인공지능 알고리즘을 고안했다. 삼성전자가 CES 2018때 선보인 85형 8K QLED TV 기술을 진정으로 의미 있게 하는 부분이다. 초고화질 디스플레이 기술에 인공지능 기반의 콘텐츠를 결합해 TV 기술의 새로운 발전 방향을 제시했기 때문이다.

AI 고화질 변환 기술은 올해 하반기부터 삼성전자 8K QLED TV에 차례로 도입될 예정이다. SD급 저화질 영상부터 4K 콘텐츠까지 8K 수준의 초고화질 영상과 사운드로 감상할 수 있는 삼성전자의 AI 기술. 디스플레이의 진화를 제한 없이 즐길 수 있는 진정한 8K 시대를 열어갈 것이다.