매우 밝은 환경에서도 각 픽셀의 색상과 디테일을 보다 선명하게 표현할 수 있는 듀얼-VTG(Dual Vertical Transfer Gate), 저조도 환경에서 인접한 픽셀을 묶어 수광 면적을 넓게 함으로써 더 또렷하게 촬영할 수 있는 ‘테트라 스퀘어드 픽셀 (Tetra²pixel)’ 등도 이런 노력의 일환으로 개발된 독자 기술이다.

특히 삼성전자는 초고화소 이미지 센서의 사용자 경험을 더욱 향상시키기 위한 여러 솔루션을 지속적으로 도입하고 있다.

자유롭게 줌인하고 피사체를 자동 추적하는 솔루션

삼성전자의 최신 모바일 동영상 기능인 ‘아이소셀 줌 애니플레이스(ISOCELL Zoom Anyplace)’는 더욱 자유롭고 창의적인 스마트폰 촬영을 가능하게 하는 혁신적인 솔루션이다.

2억 화소 이미지센서를 활용한 이 기능은 사용자가 선택한 피사체를 카메라가 자동으로 추적하고 촬영할 수 있도록 돕는다.

지금까지는 동영상을 촬영할 때 사용자가 움직이는 피사체에 직접 초점을 맞춰야 했지만 ‘아이소셀 줌 애니플레이스’와 퀄컴 AI 엔진을 사용하면 카메라가 움직이는 피사체를 놓치지 않도록 신속하게 추적할 뿐만 아니라 화면 흔들림을 최소화할 수 있다.

동영상 촬영 중 움직이는 피사체를 추적하는 작업을 ‘아이소셀 줌 애니플레이스’가 맡아주기 때문에 사용자는 눈앞에서 펼쳐지는 장면을 직접 감상할 수 있다는 장점도 있다.

특히 ‘아이소셀 줌 애니플레이스’ 솔루션은 실시간 리모자이크 기능 덕분에 확대된 영역도 고해상도를 유지할 수 있게 한다. 기존에는 동영상을 촬영한 뒤 특정 피사체를 확대하면 이 부분의 화질이 떨어졌지만 이런 문제를 해결한 것이다.

또한 다양한 앵글에서 역동적으로 촬영할 수 있고, 사용자가 원하는대로 촬영 중에 피사체를 확대 또는 축소할 수도 있어 다양한 예술적 선택을 할 수 있고 전반적인 사용자 경험을 향상시킨다.

특히 테트라 스퀘어드 픽셀의 ‘센서 내 줌’ 기능을 활용하면 촬영할 때 선택의 폭이 한층 넓어지는 효과가 있다.

디지털 줌을 사용하던 예전에는 피사체를 확대하면 이미지의 화소가 떨어졌지만 ‘센서 내 줌’을 사용하면 전체 범위에서 확대할 영역을 선택하고 리모자이크하기 때문에 센서가 원래 화소를 유지하면서 훨씬 더 선명한 동영상을 촬영할 수 있다.

또한 기존에는 3배 이상 확대할 때 카메라가 광각에서 망원으로 전환되어 이미지 품질과 앵글이 바뀌었으나 2억 화소 광각 카메라는 화소 손실 없이 2배 또는 4배까지 매끄럽게 확대할 수 있다. 변함없이 유지되는 화질 덕분에 실제처럼 생생한 촬영 경험을 즐길 수 있게 된 것이다.

이미지 촬영을 위한 E2E AI 리모자이크

삼성전자는 동영상 솔루션인 ‘아이소셀 줌 애니플레이스’ 외에 이미지 촬영을 위한 ‘엔드 투 엔드(E2E) AI 리모자이크’ 솔루션을 도입했다.

현재 2억 화소 이미지 센서의 촬영 후 이미지 처리 단계는 리모자이크 전에 RAW 데이터 출력이 발생, 이미지 신호 처리(ISP)로 이어진 다음 JPEG 이미지 출력으로 마무리된다. 이 과정의 모든 단계는 순차적으로 이루어진다.

E2E AI 리모자이크는 리모자이크와 이미지 신호 처리(ISP)가 동시에 이루어지도록 해서 프로세스를 향상시키는 방식이다.

이미지 프로세싱 시간이 전반적으로 빨라지기 때문에 2억 화소 이미지의 촬영 시간이 단축되고 이미지 품질은 향상된다. 더욱 빠르게 사진을 촬영하고 확인할 수 있으며, 지연으로 인한 데이터 손실에 따른 이미지 품질 저하가 줄어든다. 이로 인해 촬영한 사진의 디테일과 컬러가 더욱 풍부해지는 것이다.

사용자 경험을 개선하기 위한 지속적인 노력

삼성전자는 동영상용 ‘아이소셀 줌 애니플레이스’와 이미지용 ‘E2E AI 리모자이크’의 발전을 바탕으로 동영상 및 사진 경험을 변화시키는 데 있어 주요한 발전을 이루고 있다.

이와 같은 발전은 장기적인 전략의 일부로, 사용자 경험을 더욱 향상시킬 수 있는 솔루션을 계속해서 연구하고 있다. 앞으로도 삼성전자의 초고해상도 아이소셀 이미지 센서와 함께 다양한 순간을 촬영할 수 있기를 기대해본다.

^{*표시된 모든 이미지는 개발 단계에 있는 기술의 예상 성능을 설명하기 위한 것으로, 아이소셀 줌 애니플레이스나 E2E AI 리모자이크로 촬영되지 않았습니다.}