[갤럭시 S21 AI 카메라] ① AI가 인물사진을 혁신적으로 개선하는 방법

‘찰칵’, 촬영 버튼을 누르는 순간. 스마트폰 이면에선 어떤 일들이 일어날까? 삼성전자는 초보자부터 전문가까지 누구나 더 나은 카메라 경험을 할 수 있도록 혁신적인 기술을 개발해왔다. 갤럭시 S21 시리즈에 탑재된 딥러닝 바탕의 AI 기능도 그중 하나. 모든 사용자가 포토그래퍼 혹은 비디오그래퍼가 될 수 있도록, 최선의 결과물을 만들어 내기 위한 ‘스마트한 프로세싱’이 보이지 않는 곳에서 일어나고 있다.

갤럭시 S21 시리즈에 탑재된 AI가 사진과 영상을 어떻게 탈바꿈시키고 있는지, 그 원리를 뉴스룸에서 3부작에 걸쳐 자세히 소개한다. 첫 번째 시리즈는 바로 ‘인물사진’에 숨겨진 원리이다.

한 번 촬영에 인생 샷, 셀피 카메라 모드(Selfie Camera Mode)

누구나 한 번쯤 멋진 포즈를 잡고 촬영한 ‘회심의 셀피’가 생각보다 마음에 들지 않았던 경험이 있을 것이다. 이제는 더 이상 ‘멘붕’에 빠질 필요가 없다. 갤럭시 S21 시리즈의 새로워진 셀피 카메라는 AI 기반으로 더 자연스러우면서도 디테일이 살아있는 사진을 만들어준다. 여기에 숨어있는 두 가지 기술을 살펴보자.

1. 얼굴 정보 감지: 사용자가 촬영을 하면, 셀피 카메라의 AI는 먼저 이미지 속 얼굴을 인식한다. 이후 배경 등 사진 속 디테일로부터 얼굴을 분리한다. 이때 사람 얼굴의 세부 요소인 머리카락, 눈, 피부 등 디테일한 부분까지 눈 깜짝할 사이에 인식한다.

2. 복원: 피사체의 머리카락, 눈, 얼굴 특징 등 디테일한 요소의 질감을 살려낸다. 또 화이트 밸런스를 조정해 어떤 환경에서도 피부 톤을 자연스럽게 만들어, 사진을 추가로 편집할 필요 없이 바로 공유할 수 있다.

SNS 앱이나 써드 파티 앱을 자주 사용한다면? 갤럭시 카메라 앱뿐 아니라 주요 SNS, 카메라 앱에서도 AI 기반의 얼굴 감지와 복원 기능을 사용해 자연스러운 인물 사진을 찍을 수 있다.

느낌 있는 사진의 비밀, 인물사진 모드(Portrait Mode)

친구, 가족, 반려동물 등 사랑하는 이들의 모습을 기록하고 싶지만, 사진 촬영에 자신이 없어 망설이는 이들을 위해. 갤럭시 S21 시리즈는 초보자들도 스튜디오에서 촬영한 것 같은 퀄리티를 낼 수 있는 ‘인물사진 모드’를 탑재했다. 기존 라이브 포커스(Live Focus) 기능을 고도화한 인물사진 모드는 개선된 ‘깊이 정보 인식 기술’을 활용해, 더욱 깊이 있고 극적인 효과를 연출할 수 있다.

인물사진 모드에는 블러(Blur), 스튜디오(Studio), 하이키 모노(High-key Mono), 로우키 모노(Low-key Mono), 백드롭(Backdrop), 컬러 포인트(Color Point) 등 다양한 배경 효과가 있어 상황과 취향에 맞게 선택지를 넓혀 준다. 촬영 버튼을 누르자마자 AI가 실시간으로 피사체의 디테일에 대한 세그먼팅(segmenting), 매팅(matting), 디테일 보정(refining)을 진행해 즉각적으로 효과를 적용해 준다.

1. 세그먼테이션 맵(Segmentation Map): AI가 이미지 속의 사람이나 반려동물을 인식하고 즉각적인 세그먼테이션 맵을 생성, 피사체를 분리한다.

2. 시드 맵(Seed Map): 앞서 생성한 세그먼테이션 맵을 토대로 피사체와 배경이 분리된 시드 맵이 생성된다. 이렇게 분리된 맵을 기준으로, 이후 배경부에만 다양한 배경 효과가 적용된다.

3. 트라이 맵(Tri-map): 그다음, 피사체와 배경의 경계면, 특히 이 두 가지 요소가 섞인 영역을 확인한다.

4. 매트 맵(Matte Map): 트라이 맵의 경계면에서 피사체 부를 정확하게 인식하는 매팅 작업이 진행되어 매팅 맵을 만들어준다. 피사체 머리카락의 디테일을 자연스럽게 표현할 수 있게 만든다.

5. 깊이감 추정(Depth Estimation): 1~4번 과정이 진행되는 동시에 AI는 사진 속 ‘깊이 정보’를 측정해 배경 디테일과 심도^[1]를 다듬는다.

사진 속 구도가 복잡하거나, 여러 명이 함께 있을 때도 걱정 없다. AI를 통한 세그먼팅은 심도 수준이 다양한 여러 사람이거나 반려묘, 반려견과 함께 있어도 스마트하게 인식한다.

3초의 마법, 디테일 리파이닝(Refining)

사람, 동물, 풍경… 스마트폰 카메라로 담는 피사체는 다양하다. AI 매팅은 이처럼 수많은 피사체의 디테일을 최대한으로 살려주는 역할을 한다.

인물사진 모드에 블러 효과를 적용할 경우, 매팅은 피사체 경계부가 흐려지지 않게 하는 역할을 한다.

먼저 배경으로부터 피사체를 최초로 분리한 ‘시드 맵’에서 경계부를 인식해 ‘트라이 맵’이 만들어진다. 위 이미지를 예시로 보면 검은색은 배경 부, 흰색은 인물 부, 회색은 경계 영역으로 인식된 부분이다.

이 ‘트라이 맵’을 토대로 경계부를 정밀하게 인식해, 배경과 피사체를 매우 세밀하게 구분한 ‘매팅 맵’이 만들어진다. 매팅이 진행되는 동시에 AI는 인물의 얼굴 등 피사체의 디테일을 다듬는다. 끝으로, 매팅 맵과 깊이 정보를 합쳐, 업스케일링(upscaling)해 최종 고해상도 사진이 생성된다.

매우 복잡한 프로세스를 거치지만 이 모든 것을 완료하는 데 소요되는 시간은 3초도 걸리지 않는다^[2]. 갤럭시 S21 시리즈는 이처럼 사용자의 편의를 강화할 수 있는 똑똑한 기능을 다채롭게 확대해 나갈 예정이다.