[인터뷰] 몰입감 있는 스마트폰 경험의 완성…갤럭시 Z 폴드4 UDC 개발 비하인드 스토리

일상을 기록하는 셀피, 친구와의 영상 통화 등 ‘전면(front) 카메라’는 우리의 모바일 경험에서 없어선 안될 존재다. 하지만 몰입감 있는 풀 스크린(full-screen) 시청 경험을 원하는 이들에게 스마트폰 디스플레이 윗 부분의 ‘검은 점’은 극복하기 힘든 방해물이었다. 여기, 그 난제를 극복한 기술이 있다. 언더 디스플레이 카메라(Under Display Camera, 이하 ‘UDC’)가 바로 그것.

폴더블 제품 중 최초로 갤럭시 Z 폴드3에 적용된 UDC는 갤럭시 Z 폴드4에서 보다 향상된 기술로 돌아왔다. 삼성전자 글로벌 연구 조직 간의 협업을 통한 기술 혁신의 결과물로 사용자들에게 한층 더 몰입감 있는 스마트폰 경험을 제공하고 있는 것. 소비자들의 소중한 피드백 역시 혁신의 동력이었다.

뉴스룸은 UDC 연구개발의 중추를 담당한 삼성리서치^[1] 해외연구소 연구원들을 만나 다양한 개발 뒷 이야기를 들었다.

삼성리서치아메리카(SRA) MPI(Mobile Processor Innovation)랩의 카메라 연산(Computational Camera) 파트를 이끄는 John Seok-Jun Lee 연구원과 삼성리서치 인도 방갈로르 연구소(SRI-B) AI비전 솔루션(AI Vision Solutions) 파트를 맡고 있는 Alok Shukla(알록 슈클라) 연구원이 그 주인공이다.

Q. UDC 기술에 대해 설명 부탁드린다

John Seok-Jun Lee UDC란 평소에는 디스플레이 전체를 화면으로 사용하다가 셀피 등 전면 카메라를 사용할 때만 메인 디스플레이 아래에 숨겨진 카메라를 활성화하는 혁신적인 기술이다.

UDC기술의 작동 원리는 디스플레이의 픽셀 구조를 변경하는 것이다. 즉, 픽셀의 밀도와 구조를 최적화하여, 화면을 사용할 땐 카메라가 눈에 띄지 않게 하고, 카메라를 사용할 땐 빛을 잘 받아들이도록 한다.

UDC는 모바일 기기에서 화면을 시청할 때 방해 요소를 최소화해준다. 이를 위해선 카메라를 디스플레이 패널 아래로 배치하는 하드웨어적인 혁신뿐만 아니라, 화질을 복원하는 알고리즘의 혁신도 필요하다.

Q. 갤럭시 Z 폴드4에 적용된 UDC는 사용자에게 어떤 가치를 제공하는 기술인지 소개 부탁한다

John Seok-Jun Lee 사용자들은 갤럭시 폴더블 제품의 혁신적인 디스플레이 기술을 통해 스마트폰으로 대화면 경험을 할 수 있다. 하나의 모바일 기기지만 접었을 땐 일반적인 스마트폰으로, 펼쳤을 땐 대화면으로 다양한 사용 경험을 제공하기 때문이다.

소비자 조사 결과, 갤럭시 Z 폴드 시리즈 사용자들은 셀피용으로는 커버스크린 카메라를 주로 사용하고, 비디오 시청, 게임이나 문서 작업을 할 땐 메인 디스플레이를 선호하는 것으로 나타났다. 우리는 제품을 펼쳤을 때 몰입감 있는 경험을 원하는 사용자들의 니즈를 충족시킬 수 있는 최적의 기술이 UDC라고 생각했다. 그렇게 UDC 선행 연구개발에 매진한 결과, 갤럭시 Z 폴드3에 세계 최초의 폴더블 UDC가 적용됐고, 갤럭시 Z 폴드4에선 더욱 향상된 UDC 기술을 선보일 수 있었다.

Q. 갤럭시 Z 폴드3 이후 UDC 이미지 화질을 개선하기 위해 어떤 노력을 했나?

Alok Shukla Z 폴드4에서는 UDC의 시인성을 최대한 개선하기 위해 픽셀 배치 구조를 군집형에서 분산형으로 변경했다. 하지만, UDC는 디스플레이 패널을 통해 카메라 센서에 오는 빛의 투과율이 상대적으로 낮아 이미지 화질이 저하된다는 난제를 갖고 있다.

이 문제를 해결하기 위해 멀티프레임 프로세싱에 AI 기술을 적용했다. UDC 이미지 복원에 필요한 ‘컴퓨터 연산 포토그래피’ 파이프라인을 AI 기술 기반으로 개발하는 것이다.

SRI-B는 MX 사업부 비주얼 소프트웨어 개발 그룹과 협업해, UDC 이미지 복원을 위한 AI 모델 개발에 주력했다. 이와 동시에, SRA MPI랩은 멀티프레임 ‘컴퓨터연산 포토그래피’ 알고리즘을 개선했다. 이미지의 전반적인 다이내믹 레인지를 개선하고, 자연스러운 밝기를 적용하기 위해서다.

그 결과, 갤럭시 Z 폴드4의 UDC는 더 정교하고 깨끗한 이미지를 제공할 수 있게 됐다.

Q. SRA와 SRI-B은 언제부터 협업을 진행했나, 그간의 여정에 대한 소감도 궁금하다.

John Seok-Jun Lee 내가 속한 MPI랩은 2014년 갤럭시 노트4부터 2022년 갤럭시 Z 폴드4와 Z 플립4에 이르기까지, 모든 연구개발을 SRI-B와 함께 해 왔다. SRA는 UDC, 야간 모드, Expert RAW 등 MX 사업부 관련 멀티프레임 프로세싱 기술 연구를 주도했다. SRI-B는 고도의 카메라 소프트웨어, 이미지 품질 튜닝, AI 카메라 연구개발을 진행하며 상용화를 위한 제반 준비를 담당했다.

이번 UDC 연구개발을 위해 미국의 SRA와 인도의 SRI-B, 그리고 한국에 있는 MX사업부 비주얼 소프트웨어 개발 그룹이 협업을 진행했다. 서로의 시차를 조율해가며 복잡한 프로젝트를 기한 내에 성공적으로 달성했다. ‘최고의 스마트폰 카메라 경험’이라는 공동의 목표를 위해 함께 협업하고 성과를 내는 과정은 항상 즐겁다.

Q. 이번 UDC 연구개발에서 맡은 분야를 소개해 달라.

Alok Shukla 우리의 역할은 최고의 소비자 경험 구현을 위해 UDC를 엔드투엔드(End-to-End) 관점에서 바라보는 것이었다. 때문에, 여러 팀 간의 심도 있는 협업이 필요했다. 예를 들어, MX사업부 비주얼 소프트웨어 개발그룹이 광회절(빛이 휘어지는 현상) 억제를 위한 데이터 생성을 연구개발할 때, SRI-B는 AI 모델 개발에 집중하는 식이다. UDC는 이러한 긴밀한 협업의 결과물이다.

SRI-B는 AI 모델 구현에 신경망처리장치(NPU) 적용에 있어서도 중요한 역할을 했다. 이를 통해 NPU로 가속화된 AI 기반 UDC 복원 기술이 갤럭시 Z 폴드4에 최초로 적용되었다. 그 결과, 이미지 처리 시간은 줄이면서 더 나은 화질을 구현해, 보다 나은 소비자 경험을 제공할 수 있다.

Q. UDC 기술을 개발하면서 겪었던 어려움과 극복 과정을 소개해 달라

John Seok-Jun Lee UDC는 빛을 최대한 많이 투과시켜야 하는 ‘카메라’와 자체적으로 발광하여 화질을 극대화 해야하는 ‘디스플레이’라는 상반된 두 가지 기술이 공존한다는 기술적 특성이 있다. 따라서, 낮은 빛 투과율과 광회절(빛이 휘어지는 현상)은 극복해야 할 어려운 과제였다.

또 하나의 이슈는 UDC 이미지 화질이 카메라 모듈뿐만 아니라 디스플레이 패널에도 영향을 받는다는 점이었다. 이를 해결하기 위해 우리는 상이한 디스플레이 특징에 따라 이미지 품질을 조정할 수 있는 AI 기반의 3D ISP(Image Signal Processing) 알고리즘을 개발했다.

Alok Shukla AI기반의 이미지 복원 기술을 개발할 때가 떠오른다. 이미지 복원은 사진뿐 아니라 영상에서도 필요하다. 영상을 촬영한 뒤, 촬영한 영상을 불러 오려면 실시간 이미지 복원 처리가 가능해야 한다. 또한, 전력을 최대한 적게 소비해야 하는 점도 중요하다.

AI 기반 UDC 복원은 영상에서는 갤럭시 Z 폴드4에 최초로 적용됐다. 우리는 최소한의 전력 소비로 실시간 이미지 복원이 가능한, 보다 가볍고 최적화된 AI 모델을 구축하기 위해 신경망처리장치(NPU)와 첨단 양자화(Quantization) 기술을 광범위하게 활용했다. 우수한 품질을 달성하기 위해 실험도 수없이 진행했다.

Q. UDC 연구개발에 있어 어떤 비전을 갖고 있는가?

Alok Shukla UDC는 스마트폰 카메라의 새로운 지평을 열었다. 미래의 UDC 기술은 사용자의 시청 경험을 방해하지 않으면서도 여러 개의 카메라와 더 큰 카메라 센서를 유연하게 배치할 수 있게 될 것이다. 또 다른 목표는 더 많은 제품들의 전면 카메라에 UDC를 적용하는 것이다. 물론, 카메라 화질과 처리 시간 등이 개선되어야 할 것이다.

John Seok-Jun Lee 앞으로 나올 제품들의 UDC는 완전히 보이지 않는 방향으로 발전할 것이라고 예상한다. 이것이 현실화되면, 펀치홀 카메라와 동일한 이미지 성능을 유지하면서도 시청 방해 요소는 없는, 궁극의 모바일 디스플레이를 경험할 수 있을 것이다.