[‘엑시노스’ 개발 리더들이 SoC를 말하다] ① GPU, ISP 알아보기

기술집약적 시스템반도체 SoC, ‘엑시노스’

삼성전자 AP 브랜드 엑시노스(Exynos)의 7대 IP 개발 리더들을 본격적으로 만나기 앞서, SoC(System-on-Chip, 시스템온칩) 설계를 총괄하는 시스템LSI사업부 SoC개발실장 김민구 부사장을 만났다.

먼저 SoC의 개념, 즉 여러 기능이 하나의 칩으로 통합되는 근본적인 이유부터 물었다. 김민구 부사장은 “칩이 나눠져 있으면 통합적인 전력 제어가 어렵고, 개별로 전력을 소모하면 배터리 효율이 낮아진다. 또한 칩들 사이에서 데이터 전송을 위한 대역폭 제한과 전송 시간 지연 등이 발생해 성능 저하를 불러오게 된다”고 설명했다. 스마트폰은 데스크탑처럼 전력을 계속 공급받으면서 사용하는 제품이 아니기에 저전력 특성이 매우 중요한 것.

이어 김 부사장은 “SoC는 통합 전력 제어로 효율성이 높을 뿐 아니라 단일 칩 형태로 면적이 크게 줄어 공간 확보에 용이하다”며 “단일 칩 내부에서 모든 기능을 수행하므로 성능도 크게 향상된다”고 덧붙였다. 휴대 전화가 단순히 전화, 문자 송수신의 기능을 넘어 지금의 비디오, 게임, 금융 서비스 등 수준 높은 다양한 기능으로 확장된 데에는 엄지 손톱보다 작은 SoC의 역할이 컸다.

김민구 부사장은 SoC를 ‘시스템 반도체의 꽃’에 비유했다. 현존하는 주요 IT 기술들이 집약된 결정체라는 이유에서다. 그는 “SoC는 쉽지 않은 영역이지만 엔지니어라면 누구나 도전해보고 싶은 유망한 분야일 것”이라며 “앞으로 SoC의 역할은 메타버스, 자율주행, 6G 등 미래 산업에서 더욱 무궁무진하다”고 강조했다.

삼성전자는 GPU, NPU, ISP, 모뎀, RF 등 독자 IP 개발에 박차를 가할 계획이며, 칩 설계 분야에서 한 발 더 나아가 플랫폼 솔루션 업체로 거듭나고자 노력하고 있다. 김 부사장은 “SoC의 경쟁력을 앞세워 ‘엑시노스’를 전 세계인들이 믿고 쓰는 최고의 모바일 AP 브랜드로 인정받게 할 것”이라며 “이번 기획 시리즈를 통해 SoC의 역할과 중요성, 나아가 엑시노스의 특장점과 개발 방향이 보다 많은 사람들에게 공유되길 바란다”고 전했다.

모바일 게이밍의 가능성을 확장하다: 한층 강화된 그래픽을 제공하는 GPU

그래픽 처리는 일반적으로 대규모 단순 연산이 필요하며, 병렬로 처리할 경우 더 빠르고 효율적이다. 하지만 CPU는 고속의 순차 처리에 특화된 구조이기에, CPU로 그래픽 처리를 하면 단순 연산을 수없이 수행하느라 정작 중요한 연산은 구동을 대기하게 되는 경우가 생긴다. 예를 들면, 게임을 구동했는데 화면에 그림을 나타내느라 터치 입력이 지연돼 내 캐릭터가 적을 피하지 못하는 상황이 생길 수도 있다는 것.

이런 문제를 해결하기 위해 등장한 것이 GPU(Graphics Processing Unit, 그래픽처리장치)다. GPU가 없던 과거에는 CPU가 모든 일을 처리했으나, 점차 자주 사용하는 유사한 연산에 대해서 별도의 가속기를 만들어 효율을 높이고자 만들어졌다. CPU가 범용 계산기라면, GPU는 그래픽 처리에 특화된 대규모 병렬 계산기인 셈이다. 이렇게 탄생한 GPU는 그래픽 처리를 위한 핵심 부품 중 하나로 CPU의 명령을 받아 모니터 상에 사물들의 모양, 위치, 색상, 질감 등을 표현해낸다.

엑시노스 2200에 탑재된 GPU ‘엑스클립스 920(Xclipse 920)’은 삼성전자가 PC·콘솔 게임기향 GPU 업체인 美 AMD와 공동 개발한 첫 결과물이다. 삼성의 GPU 브랜드 ‘엑스클립스’는 ‘Exynos’의 ‘X’와 일식을 뜻하는 영어 단어 ‘Eclipse’의 합성어로 모바일 게이밍의 한계를 넘어 콘솔 게임 수준의 성능을 통해 새로운 시대를 연다는 의미.

▲ GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무

이처럼 삼성전자는 AMD와 협업해 콘솔급 GPU를 저전력화해 모바일에 이식했다. AMD의 GPU가 원래는 PC나 콘솔급 이상을 위해 제작된 것이다 보니 모바일 환경에 맞춰주는 재설계가 필요했고, 모바일에서 상대적으로 제약된 메모리 대역폭과 방열 상황에 맞춘 설계가 새롭게 진행됐다. GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무는 “그동안 모바일 SoC를 개발하며 확보한 저전력 설계에 관한 많은 노하우를 기반으로 첫 세대만에 ‘소형화’, ‘저전력화’에 성공할 수 있었다”며 “콘솔 게임기와 달리 팬(fan)이 없는 환경에서 프레임이 끊기지 않도록 성능을 유지하면서 발열을 최소화하는 데 집중했다”고 말했다.

엑시노스에 탑재된 GPU의 주요 역할은 3D 가상 공간에 있는 사물들을 스마트폰 2D 스크린에 그리는 일. 따라서 화려한 그래픽이 포함된 모바일 게임을 할 때 그 역할이 두드러진다. 특히, 엑스클립스 920(Xclipse 920)은 ‘광선 추적(Ray Tracing)’ 기능을 하드웨어에서 지원하는 최초의 모바일 AP다. 이 기능은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현하는 기술로서 소프트웨어가 아닌 하드웨어에서 자체적으로 지원하기 때문에 더욱 빠른 실시간 연산이 가능하다. 또 화면 내 물체들의 색상, 음영, 움직임 등의 변화 정도에 따라 GPU의 연산량을 조절하는 ‘가변 레이트 쉐이딩(Variable Rate Shading)’ 기술을 도입해 GPU의 과부하를 줄여준다.

▲ 엑스클립스 920(Xclipse 920)은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현해내는 ’광선 추적(Ray Tracing)’ 기술을 하드웨어에서 자체적으로 지원한다.

게임 유저가 많아지고 그래픽이 화려해지면서 GPU에서의 중요한 개발 방향은 ‘콘솔에서 느낄 수 있는 수준의 고성능 구현’과 ‘저전력’이다. 이 두 가지는 앞으로 콘솔 게임에서 느끼는 화려한 그래픽의 감동을 모바일에서 재현하기 위해 반드시 필요한 요건이다. 박 상무는 “통상적으로 모바일 분야가 콘솔 분야의 기술을 5년 정도 후행해서 쫓아가는 경향이 있는데, AMD와의 협업을 통해 콘솔에서의 최신 기술들을 단숨에 Exynos 2200에 탑재했고, 해당 SoC는 갤럭시 S22에 적용됐다”며 “앞으로도 AMD와의 협업을 통해, RDNA 시리즈에 있는 다른 기능들도 지속 도입할 계획”이라고 언급했다.

모바일 GPU의 향후 성장성을 묻자, 박성범 상무는 “스마트폰의 성능이 상향 평준화되면서, 소비자가 체감할 만한 성능 차이를 만들어내는 것이 쉽지 않은 것이 사실”이라며 “앞으로 플래그십 스마트폰 사용자가 최신 스마트폰을 구입해야 할 이유가 있다면, 그것은 게임 성능 때문일 확률이 높을 것”이라고 말했다. 그만큼 스마트폰의 게임 성능을 좌우하는 GPU의 발전 가능성이 높다는 의미.

또한 그는 증강현실(AR)이나 가상현실(VR) 분야에서도 모바일 GPU가 더욱 중요해질 것으로 내다봤다. 박 상무는 “증강현실 분야의 GPU는 안경처럼 가벼운 기기에 탑재되어야 하므로 저전력 설계가 매우 중요하고, 가상현실 분야에서는 눈에 보이는 온 세상을 그래픽으로 빠르게 표현해야 하므로 성능 요구 사항이 훨씬 높은 편”이라며 “이처럼 다양한 개발 요구 사항을 맞추는 동시에 현재 구현 가능한 수준보다 훨씬 더 빠르고 실감나게 이미지를 그려 내기 위해서 모바일 GPU가 성장해가야 할 길은 앞으로도 무궁무진하다”고 강조했다.

기본 카메라의 만족도를 높이다: 한층 자연스럽고 선명한 이미지 보여주는 ISP

ISP(Image Signal Processor, 이미지신호처리)는 이미지센서에서 전송된 가공되지 않은 데이터(raw data)를 보정하여 소비자가 선호하는 형태의 사진이나 영상을 만들어내는 역할을 한다. 광학계와 이미지센서로 이루어진 카메라 모듈에서 발생할 수 있는 물리적 한계점들을 보정하고, R/G/B 값들을 보간, 노이즈를 제거한다. 또 영상의 부분적인 밝기를 조절하고, 디테일한 부분을 강조하는 등의 후처리를 수행한다. 쉽게 말해, 화질 튜닝 및 보정 과정을 자체적으로 거쳐 소비자가 좋아할 만한 결과물을 만드는 것.

▲ 카메라 모듈에서 촬영된 가공되지 않은 데이터(raw data)의 처리 과정

초창기 스마트폰에는 ISP가 별도의 칩으로 탑재됐었지만, 시장의 요구에 따라 점차 내장 ISP가 활발히 사용되기 시작했다. 20년 넘게 영상 처리 분야에서 몸담고 있는 Multimedia개발팀의 최종성 PL은 “처음에는 디지털 카메라에 사용할 수 있을 정도의 고성능 ISP를 개발하기 위해 해외연구소와 협업했고, 그 결과 갤럭시 S4에서 갤럭시 시리즈 최초로 메인 카메라에 내장 ISP를 사용했다”고 회상했다. 엑시노스는 2012년부터 DSLR급 ISP의 AP 내재화를 통해 스마트폰 카메라의 화질을 비약적으로 발전시키는데 기여했다.

▲ 20년 이상 영상 처리 분야에 몸 담아온 영상 처리 전문가 최종성 PL

고성능 ISP를 통해 소비자가 체감할 수 있는 기능은 크게 두 가지로 ‘더 나은 화질’과 ‘더 빠른 처리’다. 최종성 PL은 “사진이 잘 나왔다는 것은 주관적인 판단이어서 구체적인 수치로 제시하기는 어렵지만, 자연스럽고 선명한 사진과 영상을 구현하기 위해 딥러닝을 활용한 영상 평가, ISP 튜닝 기법 등 다양한 연구를 하고 있다”고 설명했다. 또한 사진의 연사 속도를 결정하거나 고해상도의 사진과 비디오를 빠르게 처리하는 것도 ISP의 몫이다.

▲ Semantic Segmentation 기술을 활용한 Contents aware image processing의 예시

최신 엑시노스에 탑재된 고성능 ISP는 최대 2억 화소까지 처리할 수 있다. 최대 7개의 이미지센서를 지원하며, 4개의 이미지센서에서 입력되는 영상과 이미지의 동시 처리가 가능하다. 또한, NPU의 도움을 받아 촬영 중인 장면의 부분들을 인식·분류하는 장면 세분화(scene segmentation) 기술을 탑재함으로써 하늘, 수풀, 피부 등에 각기 다른 파라미터를 적용해 처리하는 기능도 포함됐다. AI 기능을 통해 촬영 시, 사람 얼굴을 감지해서 표시하거나 그 얼굴의 좌표와 정보를 이용해서 영상의 밝기, 초점, 색상을 조절하기도 한다.

ISP의 향후 개발 방향을 묻자, 최종성 PL은 ‘저전력’과 ‘영상 화질 개선’을 꼽았다. 저전력을 유지하는 동시에 영상 화질을 개선하는 것에 집중하고 있다는 것. 최 PL은 “이미지센서에서 전송되는 데이터들을 ISP에서 실시간으로 처리해야 하는데, 그 양이 기하급수적으로 증가하는 추세라 메모리에 저장했다 다시 읽어올 때 발생하는 전력 소모가 상당 수준으로 늘어난다”며 “엑시노스는 단 한 번만 메모리에 저장하는 방식으로 전력 소모를 최소화하고 있다”고 강조했다.

이어 영상 화질과 관련해서는 “예상보다 빠르게 비디오의 시대가 열리면서, 영상 화질을 개선하는데 주력하고 있다”며 “특히, 어두운 저조도 환경에서도 비디오 화질을 높여 차별화된 강점으로 경쟁력을 높이고자 노력하고 있다”고 전했다.

※ 기사 내 삽입된 이미지는 이해를 돕기 위해 연출된 것으로 실제 제품에 의한 결과물과 일치하지 않을 수 있습니다.