찍어둔 콘서트 영상이 ‘최애’만을 위한 직캠으로 다시 완성된다. 새로운 갤럭시 Z 폴드8 시리즈 공개 이후 K팝 팬들 사이에서 ‘덕질 필수템’으로 입소문을 타고 있는 기능. 바로 영상 속 원하는 사람만 콕 집어 자동으로 움직임을 따라가는 ‘마이 팬캠(My FanCam)’이다.

마이 팬캠 기능을 사용하면 좋아하는 아티스트를 촬영한 공연 영상은 물론, 여러 사람이 함께한 일상 속 다양한 순간에서도 주인공 중심의 영상을 손쉽게 완성할 수 있다.

이 같은 경험 뒤에는 영상 속 인물을 안정적으로 추적하는 삼성리서치(SR)의 AI 기술과, 이를 실제 모바일 기능으로 구현한 MX사업부(Mobile eXperience)의 긴밀한 협업이 있었다. 뉴스룸이 삼성리서치 비주얼테크놀로지팀 박황필 프로와 MX사업부 멀티미디어개발그룹 김성환, 홍소희 프로가 말하는 마이 팬캠의 기술적 도전이 담긴 개발 여정부터 활용 꿀팁까지 소개한다.

사용자 니즈부터 실제 사용 경험까지 고려한 ‘마이 팬캠’

Q. 마이 팬캠은 어떤 고민에서 출발한 기능인가

홍소희 프로(MX): 사용자가 원하는 인물 중심의 영상을 보다 쉽고 간편하게 만들 수 없을까 하는 고민에서 출발했다. 스마트폰 하나로 촬영부터 편집, 공유까지 이어가는 것이 익숙해진 가운데, SNS에서는 좋아하는 인물을 중심으로 영상을 편집해 즐기는 ‘직캠’ 문화도 활발하다. 이러한 흐름에 맞춰 누구나 몇 번의 터치만으로 나만의 팬캠을 만들 수 있도록 ‘마이 팬캠’을 기획했고, 관련 기술을 연구해온 삼성리서치와 함께 아이디어를 구체화했다.

복잡한 장면에서도 놓치지 않고 끝까지! 마이 팬캠을 완성한 기술

Q. 영상 속에서 사용자가 선택한 인물을 지속적으로 따라갈 수 있는 핵심 기술은?

박황필 프로(SR): 마이 팬캠이 복잡한 영상 속에서도 주인공을 놓치지 않고 따라갈 수 있는 비결은 바로 인물을 정교하게 인식하는 AI 모델 덕분이다. AI가 영상 속 사람의 위치 및 외형적 특징을 구별하고 기억해서, 영상 내에서 같은 사람인지를 확인하며 추적을 이어가는 것이다.

Q. 사용자 경험 측면에서 특히 중점을 둔 부분은?

김성환 프로(MX): 사용자가 영상을 편집할 때 반복해서 분석을 기다려야 하는 불편을 줄이는 데 중점을 뒀다. 여러 사람이 등장하는 영상에서는 한 사람만 보는 데 그치지 않고 원하는 인물을 바꿔가며 확인하고 싶을 수 있다. 하지만 인물을 바꿀 때마다 다시 분석해야 한다면 그때마다 결과를 기다려야 한다. 이에 마이 팬캠은 처음 한 번 영상을 분석할 때 여러 인물의 움직임을 함께 파악하도록 설계했다. 최초 분석이 끝나면 원하는 인물을 자유롭게 바꿔 선택하며 각각의 결과를 바로 확인할 수 있다.

이와 함께 누구나 쉽게 편집할 수 있도록 조작 과정도 단순화했다. 원하는 장면에 맞춰 화면비를 자유롭게 조정할 수 있어, 활용 목적에 맞는 영상으로 손쉽게 완성할 수 있다.

Q. 연구 단계의 기술을 실제 갤럭시 기능으로 완성하기까지 두 조직은 어떻게 협업했나

홍소희 프로(MX): 빠르게 문제를 발견하고 개선 결과를 다시 확인하는 과정이 중요했다. 기능의 컨셉이 차차 잡혀가며, 개발 또한 본격화됐다. 처음에는 주 1회였던 회의도 매일 아침으로 늘려 전날의 결과와 그날 해결해야 할 과제를 함께 점검했다.

신규 기능 상품화에 있어서 다양한 시나리오를 보는 것 또한 중요하다. 다양한 케이스의 영상 확보를 위해 여러 부서의 팀원들이 손수 도와주셨다. 학생 때 촬영한 댄스 영상을 가져오거나 직접 카메라를 들고 클라이밍 같은 취미 영상을 촬영하기도 했다. 여러 사람의 노력 덕에 다양한 상황의 영상들을 분석할 수 있었다.

박황필 프로(SR): 연구 환경에서는 잘 되던 기술도 실제 촬영 영상에서는 빠른 움직임이나 인물 간 겹침 등 다양한 변수로 기대와 다른 결과가 나타나기도 했다. MX사업부가 실제 사용 환경에서 발견한 사례를 공유하면 삼성리서치에서 원인을 분석해 AI 모델과 추적 방식을 개선했고, 다시 제품 환경에서 검증하는 과정을 반복하며 완성도를 높여 나갔다.

Q. 모바일폰 환경에서 마이 팬캠을 구현하기 위해 어려웠던 점은?

김성환 프로(MX): 가장 큰 과제는 많은 연산이 필요한 AI 기술을 별도의 서버에 연결하지 않고 스마트폰 자체에서 처리하는 ‘온디바이스’ 방식으로 구현하는 것이었다. 특히 긴 영상을 분석할수록 연산량이 많아지는 만큼 처리 속도뿐 아니라 전력 소모와 발열까지 함께 고려해야 했다. 이를 위해 삼성리서치는 적은 연산으로도 필요한 성능을 낼 수 있도록 AI 모델을 최적화하고, MX사업부는 영상 디코딩부터 데이터 전달·분석까지 처리 전반을 세밀하게 살펴 성능 저하를 최소화하면서 연산량을 줄이는 데 집중했다.

박황필 프로(SR): 실제 촬영 영상에서는 원하는 인물을 한 장면에서 바로 선택하기 어려운 경우가 있다는 점도 과제였다. 학예회나 운동회처럼 찾고 싶은 사람이 영상 중간에 등장할 수도 있고, 여러 사람이 겹쳐 있는 순간에는 특정 인물을 정확히 고르기 어려울 수도 있다. 이러한 상황을 고려해 사용자가 원하는 사람이 잘 보이는 장면을 찾아 영상의 어느 시점에서든 인물을 선택할 수 있도록 기능을 구현했다.

‘최애’부터 소중한 사람들과 함께하는 일상까지…모두의 순간을 위한 ‘마이 팬캠’

Q. 마이 팬캠을 더욱 유용하게 활용할 수 있는 방법이나 촬영 팁이 있다면?

김성환 프로(MX): 촬영할 때는 가능하면 고해상도로 설정하고, 원하는 인물 주변에 여유가 있도록 조금 넓게 담아두는 것을 추천한다. 인물을 선택할 때는 주변 사람과 많이 겹치지 않고 얼굴이나 상체, 전신이 비교적 잘 보이는 장면을 고르면 보다 안정적인 결과를 얻는 데 도움이 된다. 새롭게 촬영한 영상뿐 아니라 예전에 찍어둔 공연이나 여행, 아이들의 활동 영상 등에도 활용할 수 있다. 특히 촬영할 때 특정 인물을 계속 따라가지 않아도 되는 만큼, 장면과 순간 자체에 더 집중할 수 있다는 것도 마이 팬캠의 장점이다.

활용할 수 있는 상황도 다양하다. 삼각대를 세워 자신의 운동 모습을 촬영한 뒤 마이 팬캠을 활용하면 별도의 촬영자 없이도 자신을 중심으로 한 영상을 만들 수 있다.

Q. 마지막으로 ‘마이 팬캠’이 사용자들에게 어떻게 활용되길 기대하는지, 전하고 싶은 말이 있다면?

박황필 프로(SR): 새롭게 촬영한 영상뿐 아니라 갤럭시로 촬영하지 않은 기존 영상에도 활용할 수 있는 만큼, 다양한 영상에서 원하는 인물을 중심으로 자신만의 영상을 만들어보길 바란다. 그동안 갤러리에 저장해두고 잘 꺼내 보지 않았던 영상들도 마이 팬캠 기능을 통해 새로운 시선으로 감상하는 즐거움을 느낄 수 있을 것이다. 특히 오래전 공연이나 가족 행사 영상처럼 소중하지만 잊고 지냈던 순간들을 다시 꺼내어, 원하는 인물에 집중해 감상하며 추억을 되새겨보는 것도 좋겠다.

홍소희 프로(MX): 마이 팬캠이라는 이름 때문에 ‘팬’을 아이돌이나 연예인을 좋아하는 마음으로만 생각할 수도 있지만, ‘팬심’은 결국 무언가를 좋아하는 마음이라고 생각한다. 그 대상은 아티스트일 수도 있고 가족이나 친구, 나 자신일 수도 있다. 각자가 좋아하는 사람과 순간을 담는 모두를 위한 기능으로 다양하게 활용해보길 바란다.

사용자 편의에서 출발한 아이디어는 AI 기술과 모바일 최적화, 삼성리서치와 MX사업부의 긴밀한 협업을 거쳐 ‘마이 팬캠’이라는 새로운 영상 경험으로 완성됐다. 공연부터 일상까지, 마이 팬캠은 원하는 사람을 중심으로 다양한 순간을 보다 간편하게 기록하고 편집할 수 있는 새로운 가능성을 보여준다.

‘갤럭시 카메라 혁신을 만든 사람들’ 2편에서는 전문가용 렌즈의 표현 방식을 모바일에 구현해 낸 ‘대구경 렌즈 에뮬레이션’의 개발 과정과 그 뒤에 숨은 협업 이야기를 소개한다.