[‘엑시노스’ 개발 리더들이 SoC를 말하다] ① GPU, ISP 알아보기

2022/08/25
본문듣기 AUDIO Stop
공유 레이어 열기/닫기
주소가 복사되었습니다.

해마다 공개되는 최첨단 스마트폰·태블릿PC의 성능에 '우와~'하고 감탄사가 절로 나왔던 경험이 누구나 있지 않을까? 초창기 스마트폰과 최신 스마트폰의 기술 격차는 실로 엄청나다. 한 손에 들고 가볍게 사용하는 스마트 기기의 성능은 이제 웬만한 PC 성능과 비등할 정도다. 스마트 기기 성능을 주도하는 핵심 기술은 모바일 AP(Application Processor)로, 최신 모바일 기기의 연산과 멀티미디어 구동 기능을 담당하는 시스템반도체다. SoC(System-on-Chip, 시스템온칩) 형태로 만들어져 여러 반도체 기술을 하나로 집적하고, 시스템 블록들(CPU, GPU, 모뎀 등)을 하나의 칩으로 구현한다. SoC는 쉽게 말해, 스마트폰이나 태블릿PC가 구동되기 위한 핵심 부품을 한데 모은 칩. 뉴스룸이 '스마트폰의 두뇌'라 불리는 모바일 AP '엑시노스(Exynos)'의 7대 IP 개발 리더들을 만났다. 총 3편에 걸쳐 스마트폰이 가진 경쟁력의 근간이라 할 수 있는 각 IP의 역할과 특징, 앞으로의 개발 방향을 소개한다. 1편은 GPU·ISP, 2편은 CPU·NPU, 3편에서는 모뎀·커넥티비티·시큐리티(ISE)를 차례로 만나보자.‘엑시노스’ 개발 리더들이 SoC를 말하다 ③ 모뎀 · 커넥티비티 · 시큐리티(iSE)

 

기술집약적 시스템반도체 SoC, ‘엑시노스’

삼성전자 AP 브랜드 엑시노스(Exynos)7IP 개발 리더들을 본격적으로 만나기 앞서, SoC(System-on-Chip, 시스템온칩) 설계를 총괄하는 시스템LSI사업부 SoC개발실장 김민구 부사장을 만났다.

먼저 SoC의 개념, 즉 여러 기능이 하나의 칩으로 통합되는 근본적인 이유부터 물었다. 김민구 부사장은 칩이 나눠져 있으면 통합적인 전력 제어가 어렵고, 개별로 전력을 소모하면 배터리 효율이 낮아진다. 또한 칩들 사이에서 데이터 전송을 위한 대역폭 제한과 전송 시간 지연 등이 발생해 성능 저하를 불러오게 된다고 설명했다. 스마트폰은 데스크탑처럼 전력을 계속 공급받으면서 사용하는 제품이 아니기에 저전력 특성이 매우 중요한 것.

이어 김 부사장은 “SoC는 통합 전력 제어로 효율성이 높을 뿐 아니라 단일 칩 형태로 면적이 크게 줄어 공간 확보에 용이하다단일 칩 내부에서 모든 기능을 수행하므로 성능도 크게 향상된다고 덧붙였다휴대 전화가 단순히 전화, 문자 송수신의 기능을 넘어 지금의 비디오, 게임, 금융 서비스 등 수준 높은 다양한 기능으로 확장된 데에는 엄지 손톱보다 작은 SoC의 역할이 컸다.

김민구 부사장은 SoC시스템 반도체의 꽃에 비유했다. 현존하는 주요 IT 기술들이 집약된 결정체라는 이유에서다. 그는 “SoC는 쉽지 않은 영역이지만 엔지니어라면 누구나 도전해보고 싶은 유망한 분야일 것이라며 앞으로 SoC의 역할은 메타버스, 자율주행, 6G 등 미래 산업에서 더욱 무궁무진하다고 강조했다.

앞으로 SoC의 역할은 메타버스, 자율주행, 6G 등 미래 산업에서 더욱 무궁무진하다.

삼성전자는 GPU, NPU, ISP, 모뎀, RF 등 독자 IP 개발에 박차를 가할 계획이며, 칩 설계 분야에서 한 발 더 나아가 플랫폼 솔루션 업체로 거듭나고자 노력하고 있다. 김 부사장은 “SoC의 경쟁력을 앞세워 엑시노스를 전 세계인들이 믿고 쓰는 최고의 모바일 AP 브랜드로 인정받게 할 것이라며 이번 기획 시리즈를 통해 SoC의 역할과 중요성, 나아가 엑시노스의 특장점과 개발 방향이 보다 많은 사람들에게 공유되길 바란다고 전했다.

 

모바일 게이밍의 가능성을 확장하다: 한층 강화된 그래픽을 제공하는 GPU

그래픽 처리는 일반적으로 대규모 단순 연산이 필요하며병렬로 처리할 경우 더 빠르고 효율적이다하지만 CPU는 고속의 순차 처리에 특화된 구조이기에, CPU로 그래픽 처리를 하면 단순 연산을 수없이 수행하느라 정작 중요한 연산은 구동을 대기하게 되는 경우가 생긴다예를 들면게임을 구동했는데 화면에 그림을 나타내느라 터치 입력이 지연돼 내 캐릭터가 적을 피하지 못하는 상황이 생길 수도 있다는 것.

이런 문제를 해결하기 위해 등장한 것이 GPU(Graphics Processing Unit, 그래픽처리장치)다. GPU가 없던 과거에는 CPU가 모든 일을 처리했으나, 점차 자주 사용하는 유사한 연산에 대해서 별도의 가속기를 만들어 효율을 높이고자 만들어졌다. CPU가 범용 계산기라면, GPU는 그래픽 처리에 특화된 대규모 병렬 계산기인 셈이다이렇게 탄생한 GPU는 그래픽 처리를 위한 핵심 부품 중 하나로 CPU의 명령을 받아 모니터 상에 사물들의 모양, 위치색상질감 등을 표현해낸다.

엑시노스 2200에 탑재된 GPU ‘엑스클립스 920(Xclipse 920)’은 삼성전자가 PC·콘솔 게임기향 GPU 업체인 美 AMD와 공동 개발한 첫 결과물이다. 삼성의 GPU 브랜드 ‘엑스클립스’는 ‘Exynos’의 X’와 일식을 뜻하는 영어 단어 Eclipse’의 합성어로 모바일 게이밍의 한계를 넘어 콘솔 게임 수준의 성능을 통해 새로운 시대를 연다는 의미.

▲ GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무

이처럼 삼성전자는 AMD와 협업해 콘솔급 GPU를 저전력화해 모바일에 이식했다. AMD의 GPU가 원래는 PC나 콘솔급 이상을 위해 제작된 것이다 보니 모바일 환경에 맞춰주는 재설계가 필요했고모바일에서 상대적으로 제약된 메모리 대역폭과 방열 상황에 맞춘 설계가 새롭게 진행됐다. GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무는 “그동안 모바일 SoC를 개발하며 확보한 저전력 설계에 관한 많은 노하우를 기반으로 첫 세대만에 ‘소형화’, ‘저전력화’에 성공할 수 있었다”며 “콘솔 게임기와 달리 팬(fan)이 없는 환경에서 프레임이 끊기지 않도록 성능을 유지하면서 발열을 최소화하는 데 집중했다”고 말했다.

엑시노스에 탑재된 GPU의 주요 역할은 3D 가상 공간에 있는 사물들을 스마트폰 2D 스크린에 그리는 일따라서 화려한 그래픽이 포함된 모바일 게임을 할 때 그 역할이 두드러진다특히엑스클립스 920(Xclipse 920)은 ‘광선 추적(Ray Tracing)’ 기능을 하드웨어에서 지원하는 최초의 모바일 AP. 이 기능은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현하는 기술로서 소프트웨어가 아닌 하드웨어에서 자체적으로 지원하기 때문에 더욱 빠른 실시간 연산이 가능하다또 화면 내 물체들의 색상, 음영, 움직임 등의 변화 정도에 따라 GPU의 연산량을 조절하는 ‘가변 레이트 쉐이딩(Variable Rate Shading)’ 기술을 도입해 GPU의 과부하를 줄여준다.

▲ 엑스클립스 920(Xclipse 920)은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현해내는 ’광선 추적(Ray Tracing)’ 기술을 하드웨어에서 자체적으로 지원한다.

게임 유저가 많아지고 그래픽이 화려해지면서 GPU에서의 중요한 개발 방향은 ‘콘솔에서 느낄 수 있는 수준의 고성능 구현저전력이다. 이 두 가지는 앞으로 콘솔 게임에서 느끼는 화려한 그래픽의 감동을 모바일에서 재현하기 위해 반드시 필요한 요건이다. 박 상무는 “통상적으로 모바일 분야가 콘솔 분야의 기술을 5년 정도 후행해서 쫓아가는 경향이 있는데, AMD와의 협업을 통해 콘솔에서의 최신 기술들을 단숨에 Exynos 2200에 탑재했고, 해당 SoC는 갤럭시 S22에 적용됐다”며 “앞으로도 AMD와의 협업을 통해, RDNA 시리즈에 있는 다른 기능들도 지속 도입할 계획”이라고 언급했다.

통상적으로 모바일 분야가 콘솔 분야의 기술을 5년 정도 후행해서 쫓아가는 경향이 있는데, AMD와의 협업을 통해 콘솔에서의 최신 기술들을 단숨에 Exynos 2200에 탑재했고, 해당 SoC는 갤럭시 S22에 적용됐다.

모바일 GPU의 향후 성장성을 묻자, 박성범 상무는 “스마트폰의 성능이 상향 평준화되면서, 소비자가 체감할 만한 성능 차이를 만들어내는 것이 쉽지 않은 것이 사실”이라며 “앞으로 플래그십 스마트폰 사용자가 최신 스마트폰을 구입해야 할 이유가 있다면, 그것은 게임 성능 때문일 확률이 높을 것”이라고 말했다. 그만큼 스마트폰의 게임 성능을 좌우하는 GPU의 발전 가능성이 높다는 의미.

또한 그는 증강현실(AR)이나 가상현실(VR) 분야에서도 모바일 GPU가 더욱 중요해질 것으로 내다봤다. 박 상무는 “증강현실 분야의 GPU는 안경처럼 가벼운 기기에 탑재되어야 하므로 저전력 설계가 매우 중요하고, 가상현실 분야에서는 눈에 보이는 온 세상을 그래픽으로 빠르게 표현해야 하므로 성능 요구 사항이 훨씬 높은 편이라며 이처럼 다양한 개발 요구 사항을 맞추는 동시에 현재 구현 가능한 수준보다 훨씬 더 빠르고 실감나게 이미지를 그려 내기 위해서 모바일 GPU가 성장해가야 할 길은 앞으로도 무궁무진하다고 강조했다.

 

기본 카메라의 만족도를 높이다: 한층 자연스럽고 선명한 이미지 보여주는 ISP

ISP(이미지신호처리): 이미지, 영상의 처리 및 보정 담당. 최종성 Project Leader(시스템 LSI사업부 Multimedia 개발팀)

ISP(Image Signal Processor, 이미지신호처리)는 이미지센서에서 전송된 가공되지 않은 데이터(raw data)를 보정하여 소비자가 선호하는 형태의 사진이나 영상을 만들어내는 역할을 한다. 광학계와 이미지센서로 이루어진 카메라 모듈에서 발생할 수 있는 물리적 한계점들을 보정하고, R/G/B 값들을 보간노이즈를 제거한다또 영상의 부분적인 밝기를 조절하고디테일한 부분을 강조하는 등의 후처리를 수행한다쉽게 말해화질 튜닝 및 보정 과정을 자체적으로 거쳐 소비자가 좋아할 만한 결과물을 만드는 것.

▲ 카메라 모듈에서 촬영된 가공되지 않은 데이터(raw data)의 처리 과정

초창기 스마트폰에는 ISP가 별도의 칩으로 탑재됐었지만, 시장의 요구에 따라 점차 내장 ISP가 활발히 사용되기 시작했다. 20년 넘게 영상 처리 분야에서 몸담고 있는 Multimedia개발팀의 최종성 PL처음에는 디지털 카메라에 사용할 수 있을 정도의 고성능 ISP를 개발하기 위해 해외연구소와 협업했고, 그 결과 갤럭시 S4에서 갤럭시 시리즈 최초로 메인 카메라에 내장 ISP를 사용했다”고 회상했다. 엑시노스는 2012년부터 DSLR ISP AP 내재화를 통해 스마트폰 카메라의 화질을 비약적으로 발전시키는데 기여했다.

▲ 20년 이상 영상 처리 분야에 몸 담아온 영상 처리 전문가 최종성 PL

고성능 ISP를 통해 소비자가 체감할 수 있는 기능은 크게 두 가지로 더 나은 화질더 빠른 처리. 최종성 PL은 “사진이 잘 나왔다는 것은 주관적인 판단이어서 구체적인 수치로 제시하기는 어렵지만, 자연스럽고 선명한 사진과 영상을 구현하기 위해 딥러닝을 활용한 영상 평가, ISP 튜닝 기법 등 다양한 연구를 하고 있다”고 설명했다. 또한 사진의 연사 속도를 결정하거나 고해상도의 사진과 비디오를 빠르게 처리하는 것도 ISP의 몫이다.

▲ Semantic Segmentation 기술을 활용한 Contents aware image processing의 예시

최신 엑시노스에 탑재된 고성능 ISP는 최대 2억 화소까지 처리할 수 있다. 최대 7개의 이미지센서를 지원하며, 4개의 이미지센서에서 입력되는 영상과 이미지의 동시 처리가 가능하다. 또한, NPU의 도움을 받아 촬영 중인 장면의 부분들을 인식·분류하는 장면 세분화(scene segmentation) 기술을 탑재함으로써 하늘, 수풀, 피부 등에 각기 다른 파라미터를 적용해 처리하는 기능도 포함됐다. AI 기능을 통해 촬영 시, 사람 얼굴을 감지해서 표시하거나 그 얼굴의 좌표와 정보를 이용해서 영상의 밝기, 초점, 색상을 조절하기도 한다.

엑시노스는 2012년부터 DSLR급 ISP의 AP 내재화를 통해 스마트폰 카메라의 화질을 비약적으로 발전시키는데 기여했다. 소비자는 고성능 ISP를 통해 '더 나은 화질'과 '더 빠른 처리'를 체감할 수 있다.

ISP의 향후 개발 방향을 묻자최종성 PL ‘저전력영상 화질 개선 꼽았다저전력을 유지하는 동시에 영상 화질을 개선하는 것에 집중하고 있다는 것 PL “이미지센서에서 전송되는 데이터들을 ISP에서 실시간으로 처리해야 하는데그 양이 기하급수적으로 증가하는 추세라 메모리에 저장했다 다시 읽어올 때 발생하는 전력 소모가 상당 수준으로 늘어난다”며 “엑시노스는 단 한 번만 메모리에 저장하는 방식으로 전력 소모를 최소화하고 있다고 강조했다.

이어 영상 화질과 관련해서는 예상보다 빠르게 비디오의 시대가 열리면서영상 화질을 개선하는데 주력하고 있다 “특히어두운 저조도 환경에서도 비디오 화질을 높여 차별화된 강점으로 경쟁력을 높이고자 노력하고 있다고 전했다.

 


※ 기사 내 삽입된 이미지는 이해를 돕기 위해 연출된 것으로 실제 제품에 의한 결과물과 일치하지 않을 수 있습니다.

제품뉴스 > 반도체

제품뉴스

삼성전자 뉴스룸의 직접 제작한 기사와 이미지는 누구나 자유롭게 사용하실 수 있습니다.
그러나 삼성전자 뉴스룸이 제공받은 일부 기사와 이미지는 사용에 제한이 있습니다.
<삼성전자 뉴스룸 콘텐츠 이용에 대한 안내 바로가기>

TOP