[인터뷰] 창의적인 스마트폰 카메라 경험의 시작, ‘Expert RAW’ 개발 비하인드 스토리

삼성전자의 갤럭시 S 시리즈는 스마트폰의 한계를 뛰어넘는 강력한 카메라 성능으로 지난 10여년간 많은 사랑을 받아왔다. 역대 갤럭시 시리즈 중 최고 성능 카메라를 탑재한 갤럭시 S22 시리즈는 전문가와 사진 애호가들을 위한 다양한 옵션을 제공한다. 그 대표적인 예가 바로 DSLR급의 내장 편집 툴을 갖춘 ‘Expert RAW’ 앱이다.

갤럭시 S22 시리즈와 갤럭시 S21 울트라^[1] 등에서 사용 가능한 Expert RAW 앱은 촬영부터 편집까지 전 과정이 하나의 앱에서 이루어진다. ISO·셔터 속도·화이트 밸런스 등 원하는 값을 DSLR처럼 조절해 창의적인 촬영 경험이 가능한 것. 또한, 최대 16bit의 RAW 파일로 촬영, 저장이 가능하며, 사용자의 의도에 따라 디테일까지 쉽게 편집할 수 있다.

Expert RAW 앱이 탄생하기까지 그 배경에는 미국과 인도라는 물리적 거리와 12시간에 가까운 시차를 뛰어넘는 많은 사람의 노력과 협업이 있었다. 삼성리서치^[2]아메리카(SRA)의 ‘하미드 셰이크(Hamid Rahim Sheikh)’와 삼성리서치 인도 방갈로르 연구소(SRI-B)의 ‘기리쉬 쿨카르니(Girish Kulkarni)’가 그 주역 중 하나.

삼성전자의 플래그십 스마트폰에 탑재되는 야간 모드 카메라 기능 개발을 위해 지난 수년 간 협업해 온 두 연구소가 이번에는 Expert RAW라는 성공적인 결과물을 선보였다. 뉴스룸이 그들을 만나 협업 비하인드 스토리를 들어봤다.  

Q: Expert RAW 앱에 대해 설명해달라. 사용자들이 가장 주목할 만한 기능은 무엇인가?

하미드: Expert RAW는 누구나 전문가 수준의 촬영 결과물을 얻을 수 있도록 지원하는 앱이다. 보다 광범위한 장면 데이터(Scene Data)를 담아내 사진의 품질을 개선하고, 어도비 라이트룸(Adobe Lightroom)과 같은 전문가용 사진 편집 소프트웨어에서 손쉽게 후보정이 가능하도록 설계했다.

우리는 어도비와 긴밀하게 협업해 라이트룸과 Expert RAW간의 연결성을 강화했다. 그 결과, 전문 포토그래퍼 수준의 사용자들은 더욱 자유롭고 창의적인 작업이 가능하다. 초보자의 경우, 카메라의 자동 설정(Automatic Set Points)으로 촬영한 후 라이트룸에 내장된 삼성 전용 프리셋을 사용할 수 있다. 두 앱 간 뛰어난 연동성 덕분에 사용자의 숙련도와 관계없이 누구나 손쉽게 사용 가능하다.

기리쉬: Expert RAW 앱만 있으면 전문 스튜디오가 사용자의 스마트폰 속에 들어온 것이나 다름 없다. 그만큼 스마트폰 사진 촬영에 있어 획기적인 성과라 할 수 있다. 전문 사진작가는 물론, 전문가처럼 촬영하고 싶은 일반 사용자들도 이 앱을 통해 갤럭시 S22 카메라의 프로급 기능을 제대로 활용할 수 있다. 고품질, HDR 사진 촬영을 멀티 프레임 RAW 포맷으로 지원해 후보정이 쉽고, 전문가 수준의 결과물을 만들어 낸다.

Expert RAW를 사용하면 한 장의 사진에 어두운 부분부터 밝은 하이라이트까지 더 섬세한 디테일을 담아낼 수 있다. 강력한 멀티 프레임 프로세싱은 어두운 곳에서 촬영할 때 노이즈를 대폭 줄이고 피사체의 선명도를 끌어올린다. 보다 창의적인 촬영을 원한다면, ISO, 셔터 스피드, 화이트 밸런스, EV, 초점 등을 나만의 방식으로 설정하고 피사체와 장면에 어울리는 렌즈를 직접 선택하면 된다. 사진 파일은 촬영과 동시에 JPEG, DNG 포맷으로 저장되어, 스마트폰 또는 PC버전의 어도비 라이트룸에서 즉시 후보정할 수 있다.

Q: Expert RAW는 어디에서 처음 영감을 얻었나?

하미드: 삼성의 카메라 기술은 최고의 화질을 구현하기 위해 정교한 계산사진학적 알고리즘을 사용해왔다. 기본 카메라 앱이 이미지 결과물의 색감, 톤, 디테일, 노이즈를 자체적으로 결정하기 때문에 사실상 사용자에게는 선택 권한이 없는 것이나 마찬가지였다.

우리는 이러한 사용자 경험의 한계 외에도 최근 모바일 프로세서의 연산과 AI의 발전 등에서 복합적인 아이디어를 도출했다. 또한, ‘어떻게 하면 사용자의 촬영 경험이 더 흥미로워질까’하는 고민을 거치며, 전문적인 포토그래퍼 커뮤니티에서도 영감을 얻었다. 실제로 이들은 DSLR 촬영 후 후보정이 가능하면서도 더 간편한 모바일 촬영 경험을 누구보다 원하고 있었다. Expert RAW 개발은 이러한 아이디어들을 현실로 구현하기 위해 시작됐다.

기리쉬: DSLR 카메라를 주로 이용하는 전문 사진작가들의 의견을 반영했다. 그들은  스마트폰에서도 프로급 촬영 경험을 원하고 있었다. 게다가, 소비자들이 스마트폰 카메라 기능을 오랜 시간 사용함에 따라, 삼성 스마트폰의 프로급 카메라 기능에 많은 관심을 갖게 된다는 사실 역시 소비자 조사를 통해 알게 됐다.

RAW 촬영, 카메라 제어, 후보정, 자유로운 값 설정 등 다양한 측면에서 소비자 니즈를 파악하기 위해 전문 작가뿐만 아니라, 아마추어 작가들과도 논의했다. 그 결과, 준전문가급 이상의 사용자들에게는RAW 촬영 중심의 프로급 기능 개선이 필요하다는 것을 깨달았다.

Q: 모바일 촬영에 있어 Expert RAW는 어떤 의미를 갖는가?

하미드: 카메라 경험은 스마트폰에서 가장 중요한 경험 중 하나다. 삼성은 최상의 카메라 화질을 제공하는 동시에, 일반 사용자와 전문가의 경험의 격차를 좁히고자 노력해왔다.

사용자들이 Expert RAW 앱을 활용하면 스마트폰에서 훨씬 더 자유롭고 창의적인 촬영 경험을 할 수 있을 것이다. 개발자가 미리 설정해둔 카메라 세팅이 아니라, 개인의 취향에 따라 원하는 대로 설정할 수 있기 때문에 더 많은 사람들이 그 가치를 알아볼 것으로 기대한다.

기리쉬: Expert RAW는 카메라와 렌즈를 정밀하게 제어해 RAW 촬영 프로세스를 간소화했다. 촬영 후 편집 과정 역시 어도비 라이트룸을 이용해 간편해졌다. 이 앱은 스마트폰 카메라의 잠재력을 경험하고, 또 자신의 창의력을 활용하고자 하는 모든 사용자를 위해 존재하는 앱이라 할 수 있다.

Q: Expert Raw 개발에서 MPI 랩이 맡은 역할은 무엇인가?

하미드: 전에 없던 새로운 사용자 경험을 구현하기 위해서는 개발 단계에서 부딪힌 여러 난관을 극복해야 한다. MPI랩은 Expert RAW와 그 기술의 바탕이 되는 핵심 아이디어를 개발했고 여러가지 과감한 시도를 제안했다.

먼저, 가공된 JPEG 뿐만 아니라 DNG 포맷을 모두 생성할 수 있는 완전히 새로운 개념의 계산사진학적 파이프라인을 개발했다. 검증된 기존 기술을 활용할 수 없기 때문에 결코 쉬운 일이 아니었다. 하지만 끈질긴 연구와 노력 끝에 어도비 라이트룸과 같은 사진 편집 프로그램에서도 잘 연동되는 원 데이터(raw data)를 생산하는 새로운 AI 기반 3DISP 기술을 고안해냈다.

Q: Expert Raw 개발에서 SRI-B가 맡은 역할과 주로 담당한 분야는 무엇인가?

기리쉬: Expert RAW는 복잡한 연구개발 프로젝트였다. SRI-B는 최상의 소비자 경험을 위해 ‘개발 과정 전반(End to End)’을 염두에 두고 고민하는 역할을 했다. 여기에는 다양한 분야의 전문성뿐 아니라, 여러 팀들과의 긴밀한 협업이 요구된다.

SRI-B에는 다양한 분야의 우수한 전문가들이 모여 있다. 구성원들은 SRI-B 내에서 하나의 팀처럼 움직이고, 한국의 팀들과 미국의 MPI랩에 소속된 전문가들과도 협업한다.

분야별 전문성과 관계자들과의 긴밀한 협업으로 우리는 Expert RAW의 제품 경험, 전체 과정 파이프라인 등을 개선하는 작업에 지속해서 몰두할 수 있었다.

Q: 서로 간의 협업에 대해 더 자세히 설명해달라.

하미드: MPI랩과 SRI-B는 아주 오랜 시간 동안 파트너십을 이어왔다. SRI-B는 뛰어난 역량과 자원을 기반으로 Expert RAW 파이프라인을 위한 핵심 AI 블록뿐만 아니라 소프트웨어 기술 개발을 이끌었다. 또한, SRI-B는 Expert RAW 앱의 UI (User Interface) 파트를 담당했고 카메라 경험의 혁신을 이뤄냈다.

기리쉬: MPI랩은 컴퓨팅 이미징 분야에서 세계적인 전문성을 보유한 집단으로, 삼성의 플래그십 제품들의 성공에 기여해왔다. 이러한 전문성은 Expert RAW 개발의 주요 동력이 되었다. MPI랩은 멀티 프레임 파이프라인 빌딩 블록 구현을 고안해냈는데, 이는 우리가 전체 과정 설계와 파이프라인을 통합하고 개선하는 데 도움이 됐다.

Expert RAW의 가장 큰 성과는 바로 다양한 조도 환경에서 최고의 화질을 구현할 수 있다는 점이다. 이를 위해 필요한 것은 멀티 프레임 프로세싱 파이프라인의 튜닝이다. 이 분야에서 MPI랩이 가진 전문성 덕분에 우리는 출시 시점에 맞춰 화질 개선에 부단히 집중할 수 있었다. 다시 말해, 컴퓨팅 이미징에 대한 MPI랩의 전문성과 다양한 하위 영역에 대한 SRI-B의 폭넓은 지식이 접목되어 Expert RAW 앱의 전체 경험이 가능해진 것이다.

SRI-B와 MPI랩은 물리적 거리와 약 12시간의 시차를 최대한 효과적으로 활용했다. 낮과 밤을 번갈아가며 끊임없이 프로젝트를 진행했고 효과적으로 개발을 완료할 수 있었다. 삼성에서는 서로 다른 조직의 연구 문화를 존중하며 협업을 장려하고 있는데, 특히 MPI랩과의 협업은 언제나 즐겁고 기대된다.

Q: 더 혁신적인 카메라 기술을 개발하기 위한 앞으로의 계획이 궁금하다.

하미드: RAW 포맷을 지원하는 새로운 카메라 경험을 위한 우리의 여정은 이제 막 시작됐다. 이 기능을 어떻게 새롭게 개선하고 발전시킬지 생각하면 가슴이 뛴다. Expert RAW의 가장 큰 매력은 사용자의 경험을 최우선에 둔다는 것이다. 앞으로 다양한 사용자들의 경험을 살피고 앱 개선에 적극적으로 반영할 계획이다.

기리쉬: MPI랩과 SRI-B는 삼성전자의 플래그십 스마트폰에 탑재되는 세계 최고 수준의 야간모드 기능 개발을 위해 지난 수년 간 협업해왔다. 그리고 이번에는 Expert RAW라는 성공적인 결과물을 내놓을 수 있었다. 우리는 앞으로도 혁신적인 제품들을 통해 멀티 프레임 컴퓨팅 이미징 범주 내 새로운 기능을 선보이고 싶다.

또한, Expert RAW의 지속적 성능 개선을 통해 스마트폰의 프로급 카메라 기능을 최대한 활용할 수 있는 전문가급 촬영 생태계를 만들어 가는 데 주력할 것이다.

사용자 경험의 극대화를 위한 끊임없는 연구개발 협업

Expert RAW의 성공적 개발은 사용자의 창의성을 존중하고, 경험의 차원을 높이기 위해 고민하고 연구해온 결실이다. 스마트폰 기술 혁신이라는 목표를 이루기 위해 글로벌 R&D 네트워크를 통해 진행해온 긴밀한 협업이 빛을 발한 것.

삼성전자는 앞으로도 기술 경쟁력과 글로벌 R&D 네트워크를 바탕으로, 소비자들의 경험과 삶의 방식을 변화시킬 혁신을 계속 이어 나갈 것이다.