[인터뷰] “밤에도 ‘인생샷’ 문제없어요” 삼성리서치 연구진이 말하는 갤럭시 S23 시리즈 나이토그래피

2023/02/28

본문듣기 AUDIO Play

공유하기 공유 레이어 열기

공유 레이어 열기/닫기

주소가 복사되었습니다.

최근 거듭된 스마트폰 카메라의 혁신은 우리 일상의 경험을 바꿔 놓았다. 특히, 갤럭시 S22에서 최초로 선보인 강력한 카메라 기능 ‘나이토그래피(Nightography)’는 어두운 환경에서도 생생한 색감과 화질을 구현해내는 기술로 스마트폰 카메라의 오랜 난제에 명쾌한 해답을 제시했다.

나이토그래피는 갤럭시 S23 시리즈에서 한단계 더 강화된 기술로 돌아왔다. 이는 삼성전자의 글로벌 연구 조직들 간의 지속적인 협업을 통해 이뤄낸 혁신의 산물이다.

뉴스룸이 나이토그래피 기술 개발에 기여한 삼성리서치 해외연구소 연구진을 만났다. 바로 삼성리서치아메리카(SRA) MPI(Mobile Processor Innovation)랩의 이석준(John Seok-Jun Lee) 연구원과 삼성리서치 인도 방갈로르 연구소(SRI-B) 카메라 솔루션 그룹(Camera Solutions Group)의 나라시마 파이(Narasimha Gopalakrishna Pai) 연구원이 그 주인공이다.

스마트폰 카메라 경험을 한 단계 끌어올리기 위해 연구개발에 매진 중인 이들의 이야기를 카드뉴스로 만나보자.

삼성리서치 연구원의 직접 소개하는 갤럭시 S23 시리즈 나이토그래피 개발 비하인드 갤럭시S23 시리즈의 나이토그래피가 혁신인 이유? 나이토그래피는 저조도 환경에서도 밝고 생생한 사진을 얻을 수 있는 기능이다. 사진 촬영 시 여러 밝기 수준에서 일련의 이미지들을 캡처하고 MFP(멀티프레임 합성, Multi-Frame Processing) 기술로 분석해 노이즈가 있거나 초점이 안 맞는 이미지들을 제거한다. 남은 이미지들은 HDR 효과를 적용해 한 장의 선명한 사진으로 통합하고, AI ISP(이미지 신호처리, Image Signal Processing) 알고리즘을 활용해 색과 디테일을 보완하면 나이토그래피를 활용한 멋진 결과물을 얻을 수 있게 된다. 이석준(John Seok-Jun Lee) 연구원 삼성리서치아메리카(SRA) 일반적인 스마트폰 카메라는 DSLR 카메라보다 렌즈가 작고 픽셀 사이즈도 작아 어두운 환경에서 빛을 충분히 받아들이지 못한다. 때문에 사진에 노이즈가 생기고, 색상과 디테일도 선명하지 못하다. 갤럭시 S23 울트라에는 2.4um의 상대적으로 큰 픽셀 사이즈, 빛 반사를 줄이는 반사 방지 코팅 렌즈를 적용해 이미지 센서가 더 많은 빛을 받아들일 수 있다. 여기에 첨단 AI MFP 기술이 촬영물의 노이즈를 줄이고 밝기를 조절해 최적의 사진을 만드는 것이다. 나라시마 파이(Narasimha Gopalakrishna Pai) 연구원 인도 방갈로르 연구소(SRI-B) 나이토그래피 연구개발 과정이 남다른 이유? 요 1000 나이토그래피는, MX 사업부 비주얼 소프트웨어 개발그룹, SRA(삼성리서치아메리카) MPI 랩, 그리고 SRI-B(인도 방갈로르 연구소) 카메라 솔루션 그룹으로 구성된 글로벌 팀의 협업 결과물이다. SRA MPI 랩이 MFP 기술을 담당하면서 MX사업부 비주얼 소프트웨어 개발그룹과 AI ISP 관련 협업을 했다. SRI-B는 소프트웨어 구현과 상용화에 기여했다. MX 사업부 비주얼 소프트웨어 개발그룹은 AI ISP를 포함한 나이토그래피 개발을 책임지며 전체를 이끄는 역할을 맡았다. 난제도 많았다. 야간 촬영에서 아티팩트(Artifact) 없이 선명한 결과물을 얻는다는 게 쉽지 않다. 또, 수 많은 프레임을 캡처하고 면밀히 분석하려면 CPU, NPU, GPU 등이 받쳐줘야 한다. 뛰어난 역량의 연구팀이 각고의 노력 끝에 MFP 기술과 AI ISP 모델을 최적화할 수 있었다. 기억에 남는 에피소드는? 수원사업장에 캠프를 열고 각지의 연구팀들이 모여 상용화와 관련한 긴밀한 협업을 지속했다. 사내 온라인 커뮤니티를 통해서도 활발하게 소통했다. 덕분에 형성된 강력한 유대를 바탕으로 막강한 '한 팀'이 될 수 있었고, 이러한 3자 협업은 올해도 지속되고 있다. 연구원들의 '최애' 나이토그래피사진은? 방갈로르에 자리한 SRI-B 연구소의 야경을 나이토그래피로 근사하게~ 나라시마 파이 연구원 (Narasimha Gopalakrishna Pai) 플로리다 가족 여행 중 독립기념일 불꽃놀이 보며 나이토그래피로 '찰칵' 이석준 연구원 (John Seok-Jun Lee) 앞으로 연구 계획과 비전 스마트폰 카메라의 화소수는 점점 커질 것이다. 이런 추세에 맞춰 SRA MPI랩은 차세대 AI MFP을 통해 고메가픽셀 카메라의 저조도 사진 촬영 문제를 해결하려고 계획하고 있다. 또, 동영상 나이토그래피 화질을 사진 나이토그래피만큼 끌어올리는 것이 또 다른 연구 방향이다. 나이토그래피, Expert RAW 등을 개선해 더 나은 이미지 품질과 사용자 경험을 제공하고자 한다. 이번 갤럭시 S23 시리즈의 나이토그래피를 기점으로 다양한 프리미엄 기기에 어떻게 적용할 수 있을지도 모색할 계획이다.