[QLED 8K 비하인드 스토리 – 1편] 더 섬세하게, 더 자연스럽게…딥러닝으로 진화한 AI 업스케일링

고화질을 넘어, 초고화질의 시대. 4K를 넘어 8K 영상을 지원하는 하드웨어의 발전에 비해 8K로 제작된 영상 콘텐츠는 아직 부족한 편이다. 때문에 기존에 제작된 영상의 화질을 개선하는 ‘업스케일링’ 기술이 중요하다.

화질, 사운드, 디자인 등 다방면에서 혁신적인 변화를 거쳐 출시 후 연이은 호평을 받은 삼성전자의 2020년형 QLED 8K TV는 영상 업스케일링 기술 측면에서도 놀라운 진화를 이룩했다. 특히 삼성이 독자적으로 구축한 AI 기반의 업스케일링 기술인 ‘AI 퀀텀 프로세서 8K’는 삼성 QLED 8K의 기술의 핵심이라 할 수 있다.

삼성전자 뉴스룸이 영상디스플레이사업부 화질솔루션랩의 개발자들을 만나 이 놀라운 기술의 비하인드 스토리를 들어봤다.

▲ 왼쪽부터 임형준, 박승호, 이천, 이현승 씨

‘레벨 업’ 딥러닝이 만들어낸 최적의 업스케일링

낮은 해상도의 영상을 고해상도 디스플레이에 곧바로 재생할 경우 화면 깨짐 현상이 발생한다. AI 업스케일링은 해상도가 낮은 영상을 분석해 더욱 선명하고 자연스러운 고해상도로 변환하는 기술이다.

삼성전자는 2018년 업계 최초로 머신러닝 기반의 AI 8K 업스케일링을 도입했다. 머신러닝 방식은 사람이 영상의 선, 빛, 컬러 등 다양한 특징을 분석해내는 알고리즘을 설계하면, 기계가 이를 학습해 화질을 개선하는 형태다.

딥러닝 방식은 기계가 영상 특징 분석과 처리를 모두 스스로 학습하며 해낸다. 사람의 뇌 기능을 모방한 인공신경망으로 이루어져 있어 더욱 정밀한 작업이 가능하다. 영상디스플레이사업부 화질솔루션랩은 사람의 개입 없이도 최적의 화질 상승을 끌어내는 딥러닝에 주목했다. AI 업스케일러의 텍스처 생성 기법 개발을 담당한 임형준 씨는 “딥러닝 방식은 사람이 분석한 영상보다 정확하고 효율적인 화질 개선이 가능하다”고 설명했다.

‘AI 퀀텀 프로세서’에 머신러닝과 딥러닝 방식을 결합한 AI 업스케일링 기술을 탑재한 것도 그런 이유. 에지 선명도 강화 개발을 담당했던 이현승 씨는 “기존 머신러닝 기반에서 선명한 에지를 강조했다면, 이제는 섬세한 텍스처로 차별화된 화질을 선사한다. 산, 풀처럼 복잡한 질감과 텍스처도 한층 자연스럽게 8K로 업스케일링이 가능해졌다”고 말했다.

삼성전자만의 차별화된 기술, 딥러닝 난제를 풀다

잠재력이 무한한 딥러닝이지만, 아직 더 보강할 과제들은 존재한다. 이들 역시 기술의 상용화를 위해 많은 시행착오를 겪어야 했다. AI 업스케일러의 네트워크 구조와 학습법 개발을 담당한 이천 씨는 “인공신경망으로 학습된 알고리즘을 사람이 정확히 이해하는 것이 힘들다. 또한 칩 구현 측면에서 인공신경망의 높은 소비전력도 극복해야 할 문제였다”고 돌아봤다.

결국 오랜 시간 끝에 개발한 삼성전자만의 차별화된 기술로 이런 난제들을 해결했다. 이천 씨는 “딥러닝과 머신러닝이 가지는 각각의 복잡도와 장단점을 선별적으로 융합하는 하이브리드 형태로 설계해 고효율 화질 성능을 확보했다”고 말했다.

“더 실감나는 화질로” AI로 꾸는 더 큰 꿈

얼마 전까지만 해도 낯설던 AI 기술은 빠른 발전을 거듭하며 여러 분야에서 인류의 삶을 풍요롭게 만들고 있다. 삼성전자의 AI 업스케일링 기술 또한 사용자들에게 전에 없던 영상 경험을 제공하고 있다.

AI 업스케일러 잡음 제거와 디테일의 명암비 향상 개발을 맡은 박승호 씨는 “다양한 품질 특성을 가진 영상들을 더 세분화하여 분류하고, 정밀하게 처리할 수 있는 AI 기술을 상용화 수준으로 지속 연구 개발하고 있다”며 “이런 기술은 더 월(The Wall)과 같은 차세대 대화면 디스플레이에서 어떠한 품질의 영상도 실감 나는 화질로 볼 수 있게 한다”고 말했다.

AI 혁신은 업스케일링 분야에 한정되지 않고 범주를 더욱 넓혀갈 전망이다. 영상의 품질 분류, 잡음 제거, 압축으로 인한 왜곡 복원, 공간적·시간적 해상도 복원 등 AI를 활용해 더 훌륭한 화질로 나아갈 길은 무궁무진하기 때문. 박승호 씨는 “품질, 해상도와 상관없이 실제와 같은 영상으로 복원하는 AI 기술과 차세대 디스플레이 장점을 잘 조합해 삼성 TV만의 차별화된 시청 경험을 제공하는 것이 목표”라고 밝혔다.