영상 속 인물은 또렷하게, 배경은 부드럽게. 영상의 깊이감을 구현하는 것은 오랫동안 전문 카메라 렌즈의 몫이었다. 이를 스마트폰 영상에서 구현하기 위한 기술 연구 역시 꾸준히 이어져왔다.

이번 갤럭시 Z 폴드8 울트라·폴드8·플립8의 ‘인물 동영상’은 대구경 렌즈¹ 특유의 깊이감과 빛망울을 스마트폰 영상에 담아냈다. 삼성리서치(SR)가 실제 렌즈의 광학 특성 분석과 AI 영상 처리 기술 개발을 맡고, MX사업부가 제품 환경에 맞게 최적화하며 완성한 결과다.

뉴스룸이 AI 기반 영상 처리 기술을 연구하는 SR 비주얼테크놀로지팀 김영걸 프로와 갤럭시 카메라 개발을 담당하는 MX사업부 박상욱 프로를 만나, 전문 카메라 렌즈 특유의 표현을 스마트폰에 담아내기까지의 기술적 도전과 협업 과정을 들어본다.

더 깊이감 있는 영상으로 한 단계 진화한 갤럭시 인물 동영상

Q. ‘인물 동영상’ 기능이란 무엇이고, 새로운 갤럭시 Z 시리즈에서는 어떤 점이 달라졌는지?

박상욱 프로(MX): 인물 동영상은 영화의 한 장면처럼 주요 피사체에 초점을 맞추고, 배경을 부드럽게 흐리는 아웃포커싱으로 피사체를 돋보이게 촬영할 수 있는 기능이다.

이번 갤럭시 Z 폴드8 울트라·폴드8·플립8에서는 피사체와 배경의 거리에 따라 흐림 정도가 자연스럽게 달라지고, 배경의 작은 광원도 실제 렌즈에서 촬영한 것처럼 빛망울로 표현되는 등 전문 카메라 렌즈 특유의 표현을 한층 정교하게 구현했다. 이를 통해 별도의 전문 장비 없이도 피사체에 시선을 집중시키고, 깊이감과 분위기가 살아 있는 영상을 스마트폰으로 간편하게 촬영할 수 있다.

촬영 후 편집 경험도 강화되었다. 촬영이 끝난 뒤에도 원하는 피사체로 초점 위치를 바꾸거나 흐림 강도를 조절할 수 있어, 촬영 당시 미처 결정하지 못한 부분도 원하는 방향으로 다듬을 수 있다.

Q. 전문 카메라 렌즈 특유의 표현을 스마트폰 영상에 구현하는 기술을 개발하게 된 계기는 무엇인가?

김영걸 프로(SR): 사진은 25년째 이어온 취미다. 좋아하는 마음이 카메라 기술 연구 개발로까지 이어졌다. 그 과정에서 렌즈가 만들어내는 고유한 표현에 오래 관심을 가져왔다.

스마트폰 카메라 기술이 빠르게 발전하면서 사진 분야에서는 사용자가 체감할 만한 다양한 기능과 화질 개선이 이어졌다. 영상 역시 빠르게 발전했지만, 전문 카메라 렌즈 특유의 깊이감과 배경 표현만큼은 아직 더 확장할 가능성이 있다고 봤다. 이 지점을 기술 아이디어로 정리해 제안했다. 마침 MX사업부에서도 일반 사용자가 보다 쉽게 전문적인 영상을 촬영할 수 있는 기능을 고민하던 시기라 본격적인 공동 개발로 이어질 수 있었다.

Q. 이렇게 제안한 기술 아이디어가 실제 갤럭시 카메라 기능으로 완성되기까지 어떤 협업 과정이 있었나?

김영걸 프로(SR): 기존 솔루션만으로는 원하는 수준의 자연스러운 렌즈 표현을 구현하기 어려웠다. 당시 SR에서 제안한 기술은 아직 연구 단계였다. 연구 단계의 기술을 실제 제품에 적용하는 것은 쉬운 결정이 아니다. 그럼에도 MX사업부는 기술의 가능성을 보고 제품화를 결정했다.

그때부터 본격적인 검증과 고도화가 시작됐다. 실제 제품 환경에서 결과를 반복 확인하고 사용화 관점의 피드백을 주고받으며, 연구 기술을 사용자가 경험할 수 있는 카메라 기능으로 발전시켰다.

박상욱 프로(MX): 상용화를 위해서는 다양한 환경에서 수많은 영상을 촬영하고 결과를 반복적으로 검증해야 했다. 특히 인물이 중심 기능인 만큼 SR과 MX사업부 전문가들이 직접 모델이 돼 서로를 촬영하기도 했다. 인물과 배경의 경계가 자연스럽게 구분되는지, 거리별 흐림과 빛망울이 어색하게 표현되지 않는지 등을 집중적으로 확인했다.

그렇게 서로를 촬영해 함께 살펴보며 논의를 거듭하는 과정에서 눈에 띄게 결과가 좋아지던 것이 가장 기억에 남는다.

전문 카메라의 대구경 렌즈 표현을 스마트폰에 재현하다

Q. 이번 인물 동영상 기능을 한 단계 더 발전시킨 핵심 기술은 무엇인가?

김영걸 프로(SR): 핵심은 전문 카메라의 대구경 렌즈 특유의 표현을 스마트폰 영상에 재현하는 기술이다. 이를 위해 AI와 광학 분석 기술을 활용했다.

전문 카메라의 유사한 심도와 자연스러운 배경 표현을 구현하려면 단순히 화면을 흐리는 것만으로는 부족하다. 일반적인 블러(blur)는 주변 색을 섞어 화면을 흐리게 만드는 데 가깝다. 실제 대구경 렌즈는 다르다. 피사체와 배경의 거리에 따라 흐림 정도가 자연스럽게 달라지고, 밝은 광원은 형태와 밝기를 유지한 채 빛망울로 퍼진다. 이러한 초점 밖 영역에 나타나는 모양과 질감을 보케²라고 한다.

전문 카메라와 유사한 심도를 재현하려면 이 차이를 구현해야 한다. 즉, 피사체와 배경이 얼마나 떨어져 있는지, 실제 렌즈에서 빛이 어떻게 퍼지는지를 모두 고려해야 한다.

이를 스마트폰에서도 재현하려면 두 가지가 필요했다. 먼저 실제 대구경 렌즈에서 빛이 어떻게 퍼지고 보케가 어떤 패턴으로 맺히는지 분석해 데이터화했다. 여기에 AI가 추정한 장면의 거리 정보를 결합했다. 이를 바탕으로 피사체와 배경의 거리에 따라 흐림 정도와 보케 크기가 자연스럽게 달라지도록 했다.

Q. 실제 스마트폰 환경에서 자연스러운 아웃포커싱과 보케를 구현하기까지 어떤 기술적 난제가 있었나?

김영걸 프로(SR): 가장 까다로운 부분은 머리카락이나 안경테처럼 피사체와 배경의 경계가 복잡한 영역을 자연스럽게 표현하는 것이었다. 스마트폰 환경에서는 AI가 추정한 거리 정보만으로 미세한 경계를 정확하게 구분하는 데 한계가 있다. 작은 오류만 생겨도 머리카락이 배경과 함께 흐려지거나, 반대로 배경 일부가 선명하게 남아 피사체를 오려 붙인 것처럼 보일 수 있다.

이를 해결하기 위해 AI가 추정한 거리 정보에 원본 영상의 경계 정보를 함께 반영해 머리카락처럼 세밀한 부분에서도 피사체와 배경이 자연스럽게 구분되도록 최적화했다.

박상욱 프로(MX): 날씨와 광원, 피사체의 움직임과 거리 등 촬영 조건이 달라져도 안정적인 결과를 유지하는 것이 중요했다. 다양한 환경에서 반복적으로 촬영해 결과물을 확인했고, 소프트웨어 최적화와 AI 학습 데이터 보완을 통해 어색한 부분을 개선했다. SR의 기술을 바탕으로 MX 화질 전문가들이 보기에 얼마나 자연스러운지도 함께 검증하며 완성도를 높였다.

김영걸 프로(SR): 또, 중요하게 보았던 부분은 자연스러운 렌즈 표현을 유지하면서도 전력 소모와 발열을 효과적으로 관리하는 것이었다. 영상에서 실시간 렌즈 효과를 표현하는 것은 매 순간 많은 연산이 필요해, 장시간 촬영에서도 안정적인 성능을 확보하는 일이 중요했다.

이에 화질에 직접적인 영향을 주는 영역에는 연산을 집중하고, 사용자가 체감하기 어려운 영역은 효율적으로 처리하도록 최적화했다. 그 결과 자연스러운 아웃포커싱과 빛망울 표현, 실시간 처리 성능 사이의 균형을 맞출 수 있었다.

영상 제작의 문턱은 낮추고 표현의 폭은 넓히다! 갤럭시 영상 경험의 진화

Q. 인물 동영상의 효과를 더욱 잘 살릴 수 있는 촬영 장면이나 활용 팁이 있다면?

김영걸 프로(SR): 빛망울을 잘 살리고 싶다면 밝은 빛과 상대적으로 어두운 배경이 함께 있는 장면을 찾으면 된다. 나뭇잎 사이로 반짝이는 햇빛, 크리스마스 조명, 야경의 가로등처럼 배경에 밝게 빛나는 요소가 있으면, 그 빛이 부드럽게 퍼지면서 둥근 빛망울로 표현돼 더욱 분위기 있는 영상을 만들 수 있다.

인물을 찍을 때는 강한 빛을 정면에서 받지 않는 편이 좋다. 햇빛이나 조명을 인물의 뒤나 옆에 두는 구도를 활용하는 것도 좋은 방법이다. 머리카락과 인물의 윤곽에 빛이 자연스럽게 퍼지면서 배경의 빛망울도 더욱 돋보일 수 있다. 이때 얼굴이 지나치게 어둡게 보이지 않도록 주변의 반사광이나 가로등 등 주변광을 함께 활용하면 보다 균형 잡힌 결과를 얻을 수 있다.

Q. 인물 동영상을 직접 사용해본 사용자들에게 어떤 평가나 반응을 가장 듣고 싶은지?

박상욱 프로(MX): 일반 사용자부터 크리에이터와 영상 전문가들에게서 “스마트폰에서도 이렇게 쉽게 영화 같은 영상을 만들 수 있구나”라는 말을 가장 듣고 싶다. 자연스러운 아웃포커싱과 빛망울, 촬영 후 편집 기능까지 실제 영상 제작 과정에서 유용하게 활용하며 원하는 분위기의 결과물을 보다 자유롭게 완성할 수 있다는 점을 체감해 주셨으면 한다.

김영걸 프로(SR): 궁극적으로는 “이제 전문 카메라를 따로 챙기지 않아도 되겠네”라는 반응을 기대한다. 스마트폰 하나로도 영화 같은 영상을 만들 수 있도록 관련 기술을 계속 발전시켜 나가고자 한다.

전문 카메라 렌즈가 만들어내는 영화 같은 깊이감과 빛의 표현을 스마트폰 영상에 자연스럽게 담기까지, 연구 단계의 아이디어를 실제 제품에서 안정적으로 구현하기 위한 수많은 검증과 협업이 이어졌다. SR과 MX사업부의 서로 다른 전문성이 만나 완성된 인물 동영상 기능은 사용자들이 자신만의 방식으로 보다 수준 높게 표현할 수 있도록 갤럭시 영상 경험의 폭을 넓혀갈 것으로 기대된다.

1. 대구경 렌즈: 조리개를 크게 열어 많은 빛을 받아들일 수 있는 렌즈. 피사체는 선명하게 살리고 배경은 부드럽게 흐리는 아웃포커싱과 빛망울 표현에 유리하다. ︎
2. 보케(Bokeh): 초점이 맞지 않은 영역에 나타나는 흐림의 모양과 질감. 특히 작은 광원이 둥근 빛망울로 표현되는 모습이 대표적이다. ︎

찍어둔 콘서트 영상이 ‘최애’만을 위한 직캠으로 다시 완성된다. 새로운 갤럭시 Z 시리즈 공개 이후 K팝 팬들 사이에서 ‘덕질 필수템’으로 입소문을 타고 있는 기능. 바로 영상 속 원하는 사람만 콕 집어 자동으로 움직임을 따라가는 ‘마이 팬캠(My FanCam)’이다.

마이 팬캠 기능을 사용하면 좋아하는 아티스트를 촬영한 공연 영상은 물론, 여러 사람이 함께한 일상 속 다양한 순간에서도 주인공 중심의 영상을 손쉽게 완성할 수 있다.

이 같은 경험 뒤에는 영상 속 인물을 안정적으로 추적하는 삼성리서치(SR)의 AI 기술과, 이를 실제 모바일 기능으로 구현한 MX사업부(Mobile eXperience)의 긴밀한 협업이 있었다. 뉴스룸이 삼성리서치 비주얼테크놀로지팀 박황필 프로와 MX사업부 멀티미디어개발그룹 김성환, 홍소희 프로가 말하는 마이 팬캠의 기술적 도전이 담긴 개발 여정부터 활용 꿀팁까지 소개한다.

사용자 니즈부터 실제 사용 경험까지 고려한 ‘마이 팬캠’

Q. 마이 팬캠은 어떤 고민에서 출발한 기능인가

홍소희 프로(MX): 사용자가 원하는 인물 중심의 영상을 보다 쉽고 간편하게 만들 수 없을까 하는 고민에서 출발했다. 스마트폰 하나로 촬영부터 편집, 공유까지 이어가는 것이 익숙해진 가운데, SNS에서는 좋아하는 인물을 중심으로 영상을 편집해 즐기는 ‘직캠’ 문화도 활발하다. 이러한 흐름에 맞춰 누구나 몇 번의 터치만으로 나만의 팬캠을 만들 수 있도록 ‘마이 팬캠’을 기획했고, 관련 기술을 연구해온 삼성리서치와 함께 아이디어를 구체화했다.

복잡한 장면에서도 놓치지 않고 끝까지! 마이 팬캠을 완성한 기술

Q. 영상 속에서 사용자가 선택한 인물을 지속적으로 따라갈 수 있는 핵심 기술은?

박황필 프로(SR): 마이 팬캠이 복잡한 영상 속에서도 주인공을 놓치지 않고 따라갈 수 있는 비결은 바로 인물을 정교하게 인식하는 AI 모델 덕분이다. AI가 영상 속 사람의 위치 및 외형적 특징을 구별하고 기억해서, 영상 내에서 같은 사람인지를 확인하며 추적을 이어가는 것이다.

Q. 사용자 경험 측면에서 특히 중점을 둔 부분은?

김성환 프로(MX): 사용자가 영상을 편집할 때 반복해서 분석을 기다려야 하는 불편을 줄이는 데 중점을 뒀다. 여러 사람이 등장하는 영상에서는 한 사람만 보는 데 그치지 않고 원하는 인물을 바꿔가며 확인하고 싶을 수 있다. 하지만 인물을 바꿀 때마다 다시 분석해야 한다면 그때마다 결과를 기다려야 한다. 이에 마이 팬캠은 처음 한 번 영상을 분석할 때 여러 인물의 움직임을 함께 파악하도록 설계했다. 최초 분석이 끝나면 원하는 인물을 자유롭게 바꿔 선택하며 각각의 결과를 바로 확인할 수 있다.

이와 함께 누구나 쉽게 편집할 수 있도록 조작 과정도 단순화했다. 원하는 장면에 맞춰 화면비를 자유롭게 조정할 수 있어, 활용 목적에 맞는 영상으로 손쉽게 완성할 수 있다.

Q. 연구 단계의 기술을 실제 갤럭시 기능으로 완성하기까지 두 조직은 어떻게 협업했나

홍소희 프로(MX): 빠르게 문제를 발견하고 개선 결과를 다시 확인하는 과정이 중요했다. 기능의 컨셉이 차차 잡혀가며, 개발 또한 본격화됐다. 처음에는 주 1회였던 회의도 매일 아침으로 늘려 전날의 결과와 그날 해결해야 할 과제를 함께 점검했다.

신규 기능 상품화에 있어서 다양한 시나리오를 보는 것 또한 중요하다. 다양한 케이스의 영상 확보를 위해 여러 부서의 팀원들이 손수 도와주셨다. 학생 때 촬영한 댄스 영상을 가져오거나 직접 카메라를 들고 클라이밍 같은 취미 영상을 촬영하기도 했다. 여러 사람의 노력 덕에 다양한 상황의 영상들을 분석할 수 있었다.

박황필 프로(SR): 연구 환경에서는 잘 되던 기술도 실제 촬영 영상에서는 빠른 움직임이나 인물 간 겹침 등 다양한 변수로 기대와 다른 결과가 나타나기도 했다. MX사업부가 실제 사용 환경에서 발견한 사례를 공유하면 삼성리서치에서 원인을 분석해 AI 모델과 추적 방식을 개선했고, 다시 제품 환경에서 검증하는 과정을 반복하며 완성도를 높여 나갔다.

Q. 모바일폰 환경에서 마이 팬캠을 구현하기 위해 어려웠던 점은?

김성환 프로(MX): 가장 큰 과제는 많은 연산이 필요한 AI 기술을 별도의 서버에 연결하지 않고 스마트폰 자체에서 처리하는 ‘온디바이스’ 방식으로 구현하는 것이었다. 특히 긴 영상을 분석할수록 연산량이 많아지는 만큼 처리 속도뿐 아니라 전력 소모와 발열까지 함께 고려해야 했다. 이를 위해 삼성리서치는 적은 연산으로도 필요한 성능을 낼 수 있도록 AI 모델을 최적화하고, MX사업부는 영상 디코딩부터 데이터 전달·분석까지 처리 전반을 세밀하게 살펴 성능 저하를 최소화하면서 연산량을 줄이는 데 집중했다.

박황필 프로(SR): 실제 촬영 영상에서는 원하는 인물을 한 장면에서 바로 선택하기 어려운 경우가 있다는 점도 과제였다. 학예회나 운동회처럼 찾고 싶은 사람이 영상 중간에 등장할 수도 있고, 여러 사람이 겹쳐 있는 순간에는 특정 인물을 정확히 고르기 어려울 수도 있다. 이러한 상황을 고려해 사용자가 원하는 사람이 잘 보이는 장면을 찾아 영상의 어느 시점에서든 인물을 선택할 수 있도록 기능을 구현했다.

‘최애’부터 소중한 사람들과 함께하는 일상까지…모두의 순간을 위한 ‘마이 팬캠’

Q. 마이 팬캠을 더욱 유용하게 활용할 수 있는 방법이나 촬영 팁이 있다면?

김성환 프로(MX): 촬영할 때는 가능하면 고해상도로 설정하고, 원하는 인물 주변에 여유가 있도록 조금 넓게 담아두는 것을 추천한다. 인물을 선택할 때는 주변 사람과 많이 겹치지 않고 얼굴이나 상체, 전신이 비교적 잘 보이는 장면을 고르면 보다 안정적인 결과를 얻는 데 도움이 된다. 새롭게 촬영한 영상뿐 아니라 예전에 찍어둔 공연이나 여행, 아이들의 활동 영상 등에도 활용할 수 있다. 특히 촬영할 때 특정 인물을 계속 따라가지 않아도 되는 만큼, 장면과 순간 자체에 더 집중할 수 있다는 것도 마이 팬캠의 장점이다.

활용할 수 있는 상황도 다양하다. 삼각대를 세워 자신의 운동 모습을 촬영한 뒤 마이 팬캠을 활용하면 별도의 촬영자 없이도 자신을 중심으로 한 영상을 만들 수 있다.

Q. 마지막으로 ‘마이 팬캠’이 사용자들에게 어떻게 활용되길 기대하는지, 전하고 싶은 말이 있다면?

박황필 프로(SR): 새롭게 촬영한 영상뿐 아니라 갤럭시로 촬영하지 않은 기존 영상에도 활용할 수 있는 만큼, 다양한 영상에서 원하는 인물을 중심으로 자신만의 영상을 만들어보길 바란다. 그동안 갤러리에 저장해두고 잘 꺼내 보지 않았던 영상들도 마이 팬캠 기능을 통해 새로운 시선으로 감상하는 즐거움을 느낄 수 있을 것이다. 특히 오래전 공연이나 가족 행사 영상처럼 소중하지만 잊고 지냈던 순간들을 다시 꺼내어, 원하는 인물에 집중해 감상하며 추억을 되새겨보는 것도 좋겠다.

홍소희 프로(MX): 마이 팬캠이라는 이름 때문에 ‘팬’을 아이돌이나 연예인을 좋아하는 마음으로만 생각할 수도 있지만, ‘팬심’은 결국 무언가를 좋아하는 마음이라고 생각한다. 그 대상은 아티스트일 수도 있고 가족이나 친구, 나 자신일 수도 있다. 각자가 좋아하는 사람과 순간을 담는 모두를 위한 기능으로 다양하게 활용해보길 바란다.

사용자 편의에서 출발한 아이디어는 AI 기술과 모바일 최적화, 삼성리서치와 MX사업부의 긴밀한 협업을 거쳐 ‘마이 팬캠’이라는 새로운 영상 경험으로 완성됐다. 공연부터 일상까지, 마이 팬캠은 원하는 사람을 중심으로 다양한 순간을 보다 간편하게 기록하고 편집할 수 있는 새로운 가능성을 보여준다.

‘갤럭시 카메라 혁신을 만든 사람들’ 2편에서는 전문가용 렌즈의 표현 방식을 모바일에 구현해 낸 ‘대구경 렌즈 에뮬레이션’의 개발 과정과 그 뒤에 숨은 협업 이야기를 소개한다.