[인터뷰 | 갤럭시 Z 시리즈 카메라 혁신을 만든 사람들②] AI로 재현한 전문 카메라의 깊이감, 스마트폰으로 만드는 영화 같은 영상

영상 속 인물은 또렷하게, 배경은 부드럽게. 영상의 깊이감을 구현하는 것은 오랫동안 전문 카메라 렌즈의 몫이었다. 이를 스마트폰 영상에서 구현하기 위한 기술 연구 역시 꾸준히 이어져왔다.

이번 갤럭시 Z 폴드8 울트라·폴드8·플립8의 ‘인물 동영상’은 대구경 렌즈¹ 특유의 깊이감과 빛망울을 스마트폰 영상에 담아냈다. 삼성리서치(SR)가 실제 렌즈의 광학 특성 분석과 AI 영상 처리 기술 개발을 맡고, MX사업부가 제품 환경에 맞게 최적화하며 완성한 결과다.

뉴스룸이 AI 기반 영상 처리 기술을 연구하는 SR 비주얼테크놀로지팀 김영걸 프로와 갤럭시 카메라 개발을 담당하는 MX사업부 박상욱 프로를 만나, 전문 카메라 렌즈 특유의 표현을 스마트폰에 담아내기까지의 기술적 도전과 협업 과정을 들어본다.

더 깊이감 있는 영상으로 한 단계 진화한 갤럭시 인물 동영상

Q. ‘인물 동영상’ 기능이란 무엇이고, 새로운 갤럭시 Z 시리즈에서는 어떤 점이 달라졌는지?

박상욱 프로(MX): 인물 동영상은 영화의 한 장면처럼 주요 피사체에 초점을 맞추고, 배경을 부드럽게 흐리는 아웃포커싱으로 피사체를 돋보이게 촬영할 수 있는 기능이다.

이번 갤럭시 Z 폴드8 울트라·폴드8·플립8에서는 피사체와 배경의 거리에 따라 흐림 정도가 자연스럽게 달라지고, 배경의 작은 광원도 실제 렌즈에서 촬영한 것처럼 빛망울로 표현되는 등 전문 카메라 렌즈 특유의 표현을 한층 정교하게 구현했다. 이를 통해 별도의 전문 장비 없이도 피사체에 시선을 집중시키고, 깊이감과 분위기가 살아 있는 영상을 스마트폰으로 간편하게 촬영할 수 있다.

촬영 후 편집 경험도 강화되었다. 촬영이 끝난 뒤에도 원하는 피사체로 초점 위치를 바꾸거나 흐림 강도를 조절할 수 있어, 촬영 당시 미처 결정하지 못한 부분도 원하는 방향으로 다듬을 수 있다.

Q. 전문 카메라 렌즈 특유의 표현을 스마트폰 영상에 구현하는 기술을 개발하게 된 계기는 무엇인가?

김영걸 프로(SR): 사진은 25년째 이어온 취미다. 좋아하는 마음이 카메라 기술 연구 개발로까지 이어졌다. 그 과정에서 렌즈가 만들어내는 고유한 표현에 오래 관심을 가져왔다.

스마트폰 카메라 기술이 빠르게 발전하면서 사진 분야에서는 사용자가 체감할 만한 다양한 기능과 화질 개선이 이어졌다. 영상 역시 빠르게 발전했지만, 전문 카메라 렌즈 특유의 깊이감과 배경 표현만큼은 아직 더 확장할 가능성이 있다고 봤다. 이 지점을 기술 아이디어로 정리해 제안했다. 마침 MX사업부에서도 일반 사용자가 보다 쉽게 전문적인 영상을 촬영할 수 있는 기능을 고민하던 시기라 본격적인 공동 개발로 이어질 수 있었다.

Q. 이렇게 제안한 기술 아이디어가 실제 갤럭시 카메라 기능으로 완성되기까지 어떤 협업 과정이 있었나?

김영걸 프로(SR): 기존 솔루션만으로는 원하는 수준의 자연스러운 렌즈 표현을 구현하기 어려웠다. 당시 SR에서 제안한 기술은 아직 연구 단계였다. 연구 단계의 기술을 실제 제품에 적용하는 것은 쉬운 결정이 아니다. 그럼에도 MX사업부는 기술의 가능성을 보고 제품화를 결정했다.

그때부터 본격적인 검증과 고도화가 시작됐다. 실제 제품 환경에서 결과를 반복 확인하고 사용화 관점의 피드백을 주고받으며, 연구 기술을 사용자가 경험할 수 있는 카메라 기능으로 발전시켰다.

박상욱 프로(MX): 상용화를 위해서는 다양한 환경에서 수많은 영상을 촬영하고 결과를 반복적으로 검증해야 했다. 특히 인물이 중심 기능인 만큼 SR과 MX사업부 전문가들이 직접 모델이 돼 서로를 촬영하기도 했다. 인물과 배경의 경계가 자연스럽게 구분되는지, 거리별 흐림과 빛망울이 어색하게 표현되지 않는지 등을 집중적으로 확인했다.

그렇게 서로를 촬영해 함께 살펴보며 논의를 거듭하는 과정에서 눈에 띄게 결과가 좋아지던 것이 가장 기억에 남는다.

전문 카메라의 대구경 렌즈 표현을 스마트폰에 재현하다

Q. 이번 인물 동영상 기능을 한 단계 더 발전시킨 핵심 기술은 무엇인가?

김영걸 프로(SR): 핵심은 전문 카메라의 대구경 렌즈 특유의 표현을 스마트폰 영상에 재현하는 기술이다. 이를 위해 AI와 광학 분석 기술을 활용했다.

전문 카메라의 유사한 심도와 자연스러운 배경 표현을 구현하려면 단순히 화면을 흐리는 것만으로는 부족하다. 일반적인 블러(blur)는 주변 색을 섞어 화면을 흐리게 만드는 데 가깝다. 실제 대구경 렌즈는 다르다. 피사체와 배경의 거리에 따라 흐림 정도가 자연스럽게 달라지고, 밝은 광원은 형태와 밝기를 유지한 채 빛망울로 퍼진다. 이러한 초점 밖 영역에 나타나는 모양과 질감을 보케²라고 한다.

전문 카메라와 유사한 심도를 재현하려면 이 차이를 구현해야 한다. 즉, 피사체와 배경이 얼마나 떨어져 있는지, 실제 렌즈에서 빛이 어떻게 퍼지는지를 모두 고려해야 한다.

이를 스마트폰에서도 재현하려면 두 가지가 필요했다. 먼저 실제 대구경 렌즈에서 빛이 어떻게 퍼지고 보케가 어떤 패턴으로 맺히는지 분석해 데이터화했다. 여기에 AI가 추정한 장면의 거리 정보를 결합했다. 이를 바탕으로 피사체와 배경의 거리에 따라 흐림 정도와 보케 크기가 자연스럽게 달라지도록 했다.

Q. 실제 스마트폰 환경에서 자연스러운 아웃포커싱과 보케를 구현하기까지 어떤 기술적 난제가 있었나?

김영걸 프로(SR): 가장 까다로운 부분은 머리카락이나 안경테처럼 피사체와 배경의 경계가 복잡한 영역을 자연스럽게 표현하는 것이었다. 스마트폰 환경에서는 AI가 추정한 거리 정보만으로 미세한 경계를 정확하게 구분하는 데 한계가 있다. 작은 오류만 생겨도 머리카락이 배경과 함께 흐려지거나, 반대로 배경 일부가 선명하게 남아 피사체를 오려 붙인 것처럼 보일 수 있다.

이를 해결하기 위해 AI가 추정한 거리 정보에 원본 영상의 경계 정보를 함께 반영해 머리카락처럼 세밀한 부분에서도 피사체와 배경이 자연스럽게 구분되도록 최적화했다.

박상욱 프로(MX): 날씨와 광원, 피사체의 움직임과 거리 등 촬영 조건이 달라져도 안정적인 결과를 유지하는 것이 중요했다. 다양한 환경에서 반복적으로 촬영해 결과물을 확인했고, 소프트웨어 최적화와 AI 학습 데이터 보완을 통해 어색한 부분을 개선했다. SR의 기술을 바탕으로 MX 화질 전문가들이 보기에 얼마나 자연스러운지도 함께 검증하며 완성도를 높였다.

김영걸 프로(SR): 또, 중요하게 보았던 부분은 자연스러운 렌즈 표현을 유지하면서도 전력 소모와 발열을 효과적으로 관리하는 것이었다. 영상에서 실시간 렌즈 효과를 표현하는 것은 매 순간 많은 연산이 필요해, 장시간 촬영에서도 안정적인 성능을 확보하는 일이 중요했다.

이에 화질에 직접적인 영향을 주는 영역에는 연산을 집중하고, 사용자가 체감하기 어려운 영역은 효율적으로 처리하도록 최적화했다. 그 결과 자연스러운 아웃포커싱과 빛망울 표현, 실시간 처리 성능 사이의 균형을 맞출 수 있었다.

영상 제작의 문턱은 낮추고 표현의 폭은 넓히다! 갤럭시 영상 경험의 진화

Q. 인물 동영상의 효과를 더욱 잘 살릴 수 있는 촬영 장면이나 활용 팁이 있다면?

김영걸 프로(SR): 빛망울을 잘 살리고 싶다면 밝은 빛과 상대적으로 어두운 배경이 함께 있는 장면을 찾으면 된다. 나뭇잎 사이로 반짝이는 햇빛, 크리스마스 조명, 야경의 가로등처럼 배경에 밝게 빛나는 요소가 있으면, 그 빛이 부드럽게 퍼지면서 둥근 빛망울로 표현돼 더욱 분위기 있는 영상을 만들 수 있다.

인물을 찍을 때는 강한 빛을 정면에서 받지 않는 편이 좋다. 햇빛이나 조명을 인물의 뒤나 옆에 두는 구도를 활용하는 것도 좋은 방법이다. 머리카락과 인물의 윤곽에 빛이 자연스럽게 퍼지면서 배경의 빛망울도 더욱 돋보일 수 있다. 이때 얼굴이 지나치게 어둡게 보이지 않도록 주변의 반사광이나 가로등 등 주변광을 함께 활용하면 보다 균형 잡힌 결과를 얻을 수 있다.

Q. 인물 동영상을 직접 사용해본 사용자들에게 어떤 평가나 반응을 가장 듣고 싶은지?

박상욱 프로(MX): 일반 사용자부터 크리에이터와 영상 전문가들에게서 “스마트폰에서도 이렇게 쉽게 영화 같은 영상을 만들 수 있구나”라는 말을 가장 듣고 싶다. 자연스러운 아웃포커싱과 빛망울, 촬영 후 편집 기능까지 실제 영상 제작 과정에서 유용하게 활용하며 원하는 분위기의 결과물을 보다 자유롭게 완성할 수 있다는 점을 체감해 주셨으면 한다.

김영걸 프로(SR): 궁극적으로는 “이제 전문 카메라를 따로 챙기지 않아도 되겠네”라는 반응을 기대한다. 스마트폰 하나로도 영화 같은 영상을 만들 수 있도록 관련 기술을 계속 발전시켜 나가고자 한다.

전문 카메라 렌즈가 만들어내는 영화 같은 깊이감과 빛의 표현을 스마트폰 영상에 자연스럽게 담기까지, 연구 단계의 아이디어를 실제 제품에서 안정적으로 구현하기 위한 수많은 검증과 협업이 이어졌다. SR과 MX사업부의 서로 다른 전문성이 만나 완성된 인물 동영상 기능은 사용자들이 자신만의 방식으로 보다 수준 높게 표현할 수 있도록 갤럭시 영상 경험의 폭을 넓혀갈 것으로 기대된다.

1. 대구경 렌즈: 조리개를 크게 열어 많은 빛을 받아들일 수 있는 렌즈. 피사체는 선명하게 살리고 배경은 부드럽게 흐리는 아웃포커싱과 빛망울 표현에 유리하다. ↩︎
2. 보케(Bokeh): 초점이 맞지 않은 영역에 나타나는 흐림의 모양과 질감. 특히 작은 광원이 둥근 빛망울로 표현되는 모습이 대표적이다. ↩︎