어디서나 끊김 없이 빠른 통신을 지원한다: AI 기술 탑재한 초고성능 ‘모뎀’

‘모뎀(Modem)’이라고 하면, 흔히 90년대 PC에서 인터넷 접속을 위해 사용했던 전화 접속 모뎀(Dial-up Modem)부터 DSL(Digital Subscriber Line, 디지털 가입자 회선) 모뎀, 케이블 모뎀과 같은 유선 통신 모뎀과 셀룰러 모뎀, 와이파이 모뎀 등 무선 통신 모뎀을 모두 포함한다. 다만 요즘 모바일 업계에서 말하는 ‘모뎀’은 무선 통신 모뎀 중에서도 LTE, 5G 등을 지원하는 셀룰러(cellular) 모뎀을 주로 지칭한다.

스마트폰에서 셀룰러 모뎀은 기지국과 신호를 주고받으면서 전화 및 데이터 송수신 기능을 담당한다. 어디서든 전화가 잘 터지고, 끊김 없는 영상을 즐길 수 있는 것은 바로 고성능 셀룰러 모뎀이 있기 때문이다. 오늘날 최신 셀룰러 모뎀은 2G부터 5G까지의 기술을 지원한다.

셀룰러 모뎀은 아날로그 통신 방식을 이용해 전화 통화만 가능한 1G부터 시작됐다. 2G부터 디지털 통신 방식^[1]을 채용했으며, 문자 전송(SMS)과 같은 부가서비스가 가능해졌다. 3G에서는 모바일 브로드밴드(mobile broadband)^[2]의 초석을 닦아 휴대폰에서 인터넷 사용이 가능하게 됐고, 4G에서는 고화질 영상을 끊김없이 볼 수 있는 진정한 모바일 브로드밴드 시대가 열렸다. 2019년 세계 최초로 한국에서 상용화된 5G의 속도는 현재, 10Gbps 수준을 달성했고, 저지연·초연결성 기술을 이용해 모바일 외 다양한 응용처를 만들어내고 있다.

▲이동통신 세대별 특징 비교

LTE 시대가 도래하면서 데이터 전송 속도가 비약적으로 빨라졌고, 휴대폰이 컴퓨터와 거의 유사한 기능을 제공할 수 있게 됐다. 2000년대 이전부터 자체 모뎀 개발을 시작했던 삼성전자는 2007년 본격적으로 LTE 모뎀 칩 개발에 착수했고, 2G와 3G 기술까지 섭렵하면서 2009년 세계 최초 LTE 모뎀 상용화에 성공했다. 

▲모뎀과 기지국의 통신 과정

삼성전자의 LTE 모뎀이 갤럭시 S시리즈에 처음 들어간 것은 2012년이다. 2019년에는 최초로 5G 통신 모뎀과 모바일 AP를 하나로 합친 5G 통합 SoC 엑시노스가 개발됐다. 각각의 기능을 하는 2개의 칩을 하나로 합쳐 전력 효율과 부품이 차지하는 면적을 줄여 스마트폰 제조사의 설계 편의성을 높였다. 현재, 엑시노스의 5G 모뎀^[3]은 서브 6GHz(Sub-6GHz)뿐만 아니라 28GHz와 39GHz 등 을 모두 지원한다. 덕분에 서브 6GHz로 서비스 가능 범위(coverage)를 넓히고, 기지국 근처에서는 mmWave로 초고속 통신을 제공한다.

오늘날 삼성전자는 전 세계에서 손꼽히는 3대 5G 모뎀 설계 기업 중 하나다. 삼성전자 DS부문 미주연구소를 거쳐 현재 시스템 LSI사업부에서 모뎀개발팀장을 맡고 있는 신호 처리(signal processing) 분야 전문가인 이정원 상무는 “모뎀 기술은 3G, LTE 등의 이미 상용화된 주파수와 5G와 같은 신규 주파수를 모두 지원해야 하기 때문에, 기본적으로 개발 과정이 어렵고 복잡하다. 또한, 이를 위한 투자 규모도 상당히 큰 편이다 보니 전 세계적으로 개발사 자체가 많지 않다”며 “알고리즘 개발부터 칩 설계, 소프트웨어 개발, 필드 테스트 등 개발 시간 자체도 많이 걸리는 분야”라고 설명했다.

▲셀룰러 모뎀 개발 성능 향상을 위해 매진하고 있는 모뎀개발팀의 이정원 상무(오른쪽)와 제희원 PL(왼쪽)

삼성전자는 서비스 가능 지역(coverage)를 최대한 개선하기 위해 세계 각국에서 필드 테스트를 진행하고 있고, 전송 속도를 높이기 위해 베이스밴드 신호 처리 방식 개선, 인공지능(이하 AI) 기술 활용 등 많은 노력을 하고 있다. 그 결과, 아직 상용화는 되지 않았지만 지난해 AI 알고리즘을 적용한 모뎀을 만드는데 성공했다. 이정원 상무는 “AI 기술이 탑재된 모뎀은 AI 프로세서를 활용해 간섭 신호 처리를 최적화하거나 전력 효율성을 높이는 등의 성능 향상을 도모할 수 있다”고 말했다.

5G뿐만 아니라 삼성은 현재 6G 기술 개발에도 적극적으로 나서고 있다. IEEE^[4]의 펠로우로 선정되며 모뎀 신호 처리 기술 개발의 업적을 인정받기도 했던 이정원 상무는 “지금은 세계 최고의 5G 모뎀과 5G-Advanced 모뎀 개발에 매진하고 있으며, 곧 다가올 6G 시대를 위해 미주연구소, 삼성리서치와 협업하며 6G 모뎀 기술 연구를 준비하고 있다”고 강조했다.

이어 그는 “6G 모뎀은 1Tbps급 속도가 가능할 것으로 보이며, 위성 통신 등 다양한 통신 네트워크를 지원하고, 스마트폰을 넘어서 자동차, IoT, 증강현실(AR)/가상현실(VR) 등 다양한 응용처에 널리 쓰일 것으로 기대된다”며 “6G 시대가 오기 위해선 THz(테라헤르츠) 등 다양한 대역의 주파수 지원, 수백 개 이상의 다중 안테나 지원, 고도화된 AI 기술, 통신 네트워크 신호 효율화 기술 등이 뒷받침되어야 한다”고 설명했다.

한편, 이 상무는 삼성전자의 모뎀 개발 목표에 대해서는 ‘안드로이드에 탑재될 최고의 모뎀을 만드는 것’을 우선적으로 꼽았다. 그는 “단기적으로는 5G 사업을 확대하고, 중장기적으로는 6G 기술 연구를 통해 6G 시대에 선도적인 위치를 선점하는 것을 목표로 하고 있다”고 전했다. 삼성전자는 이러한 성능 향상과 관련 비즈니스 시장 확대를 위해 모뎀개발팀의 인력을 대폭 충원할 계획이다.

모뎀 분야의 매력이 무엇인지 묻자, 이정원 상무는 “모뎀 기술을 이끄는 글로벌 메이저 기업의 개발진으로서 자부심을 갖고 있으며, 개인적으로는 이론에서 습득한 것을 제품에 적용할 때에 실제 그대로 구현되는 경우가 많아 더욱 재미를 느낀다”고 말했다. 마지막으로 그는 “요즘은 언제 어디서든 매끄러운 전화 연결과 빠른 속도의 인터넷 경험이 아주 기본적이고 당연한 일이 됐다. 이 기본적인 라이프를 경험할 수 있게 하는 것이 모뎀의 역할이며, 그 역할을 더욱 잘 유지시켜 가는 것이 모뎀 개발진의 임무”라고 덧붙였다.

광범위한 무선 통신 환경을 만든다: 끊김 없는 빠른 속도 지원하는 커넥티비티

무선 통신을 위한 통신 규격은 크게 ‘셀룰러 통신’과 ‘커넥티비티(이하 Connectivity)’로 나뉜다.

3GPP^[5]로 대표되는 셀룰러 통신은 CDMA, LTE, 5G와 같은 이동 통신 규격이다. 주파수 경매를 통해 각 이동 통신 사업자들에게 할당된 특정 면허 대역이 있으며, 기지국 인프라를 통해 해당 대역에서 주로 넓은 범위의 통신 서비스를 제공한다. 반면, Connectivity는 IEEE 802.11(Wi-Fi)/802.15(Bluetooth, ZigBee, UWB^[6]로 대표되며, 누구나 사용 가능한 비면허 대역을 사용하여 주로 실내와 같이 국지적인 지역에서 불특정 다수를 대상으로 통신 서비스를 지원한다.

▲무선 통신을 위한 통신 규격 종류

셀룰러 통신이 넓은 지역을 커버할 수 있도록 기지국을 세워 사업하는 모빌리티(mobility) 근간의 인프라 서비스라고 한다면, Connectivity는 기지국 없이 근거리에서 기기간 무선 접속을 가능하게 하는 포터빌리티(portability)를 추구한다. 그 중에서도 와이파이(이하 Wi-Fi)는 블루투스나 Zigbee보다 속도가 빠르고 도달 거리가 길어, 휴대폰과 노트북에서 무선 인터넷에 접속하는 데 보편적으로 사용된다.

지금은 Wi-Fi가 없는 일상을 생각조차 하기 어렵지만, 20여 년 전만 하더라도 Wi-Fi가 무선 데이터 통신 기술의 대표 주자로 자리 잡을 것이라 예상하지 못했다. 오늘 날 스마트폰의 기반 기술로 확장되면서, 셀룰러 통신 대비 낮은 구축·운용 비용으로 날로 급증하는 데이터 트래픽에 가장 효과적으로 대응할 수 있는 수단으로 주목받고 있다. Wi-Fi는 셀룰러 네트워크와는 다르게 통신 도달 반경이 수백미터 이하로 국부적이며, 비면허 대역 특성상 같은 대역을 사용하는 다른 통신 시스템과의 간섭 현상이 발생할 수 있다. 이로 인해 Advanced QoS^[7]를 지원하는데 리스크가 있으나, 최근 셀룰러 네트워크와 Wi-Fi 간의 연동 기술이 지속적으로 발전하면서 ‘끊김 없는 사용자 경험’이라는 큰 편의를 제공하고 있다. 특히, 우리나라에서 Wi-Fi는 이미 특정 기술 차원을 넘어 공공성을 지닌 사회기반시설(infrastructure)로 인식되고 있다.

2016년, Connectivity개발팀 신설 당시 초대 팀장을 맡았던 김준석 부사장은 “당시 Wi-Fi 기술을 엑시노스 내에 통합될 수 있는 수준까지 끌어올리기 위해 전문팀이 만들어졌다”며 “4년여 만에 안정성과 완성도를 높이는 데 성공하면서 6세대 Wi-Fi까지 상용을 성공시켰고, 투자와 인력이 부족했음에도 단기간 내에 기술력을 따라잡았다”고 회상했다.

▲6년이라는 단기간에 시장 선도 기업에 근접한 엑시노스의 Wi-Fi 기술

삼성전자는 현재 기존의 Legacy Wi-Fi 규격을 모두 포함한 ‘Wi-Fi 6E’제품의 상용을 준비하며, 차세대 플래그십향으로 단품(Discrete) 형태의 Wi-Fi 7제품을 개발 중이다. Wi-Fi는 최신 규격을 지원하는 모바일 제품부터 기존 IoT까지 모두 연결성을 지원해야한다. 따라서 Wi-Fi 1~5 수준의 성능을 유지·보완하며, 최신 규격까지 성능을 확보하는 것이 관건이다. 특히 2024년부터 시장에 확장될 것으로 보이는 최신 규격(Wi-Fi 7)은 멀티 링크 동작 (MLO)^[8], 320MHz 대역폭, 4096QAM^[9]등 빠른 데이터 전송 속도, 데이터 전송 용량의 증가, 다수의 사용자가 있는 환경에서도 끊김 없는 무선 통신 지원, 개선된 전력 효율이 강점이다.

▲Wi-Fi 시장 규모는 2022년 47억대에서 2027년 60억대 수준으로 성장이 전망된다. (연평균 성장률 약 5%). 출처: LANCOM(Survey Digital Policy in Germany), TSR(22.06.)

Wi-Fi의 고속 전송 성능 향상을 위해서는 내부 프로세서 코어(Processor Core)가 지금보다 복잡해져야 하며, 고용량 내부 메모리 탑재가 필요하다. 김준석 부사장은 “이를 위해 멀티 프로세서 구조의 연구·개발을 비롯해 고속 전송에 필요한 IP들을 계속 보강 중이다”며 “현재까지 Wi-Fi 솔루션은 주로 미국, 대만을 비롯한 외국 회사가 주도해 왔지만, 엑시노스의 Wi-Fi 기술은 국내 Wi-Fi 솔루션 중에서 유일하게 대규모로 상용화됐다. 모바일 SoC에 탑재(integrated)하는 Wi-Fi 기술로서는 다른 회사와 비교해도 경쟁력있는 기술력이라 자부한다”고 말했다.

사실 일반 사람들에게 Wi-Fi 기술은 첨단 기술이라는 인식은 다소 낮은 반면, 어디서나 끊김없이 사용할 수 있어야 한다는 기대치는 매우 높다. 이에 대해 김 부사장은 “LTE, 5G와 같은 셀룰러는 통신사의 적극적인 마케팅을 통해 쉽게 정보를 접하다 보니 일반 사용자들도 첨단 기술로 인식하는 반면, Wi-Fi 기술은 어떻게 진화를 하고 있는지조차 잘 모르는 경우가 많다”며 아쉬움을 토로했다.

▲지난 20여 년간 꾸준히 커넥티비티(Connectivity) 기술 연구를 이어온 김준석 부사장

다가오는 미래에도 Wi-Fi의 역할이 여전히 중요할지 묻는 질문에 김준석 부사장의 답변은 단호했다. “현재 Wi-Fi를 통해 전송되는 데이터는 전체 무선 데이터 트래픽의 70~80% 수준^[10]으로, 셀룰러와 Connectivity 기술이 추구하는 사용 시나리오가 서로 다른 현실 상, 앞으로도 이러한 추세는 쉽게 변하지 않을 것”이라며 “Wi-Fi 기술과 셀룰러 기술은 상호 보완하며 동반 발전해야 하는 관계이며, 우리 삶에서 IT 기술의 역할이 커질수록 음영 지역을 줄이고 실내에서 안정적인 연결성과 고속 데이터 서비스를 제공하는 Wi-Fi 기술은 매우 중요해진다”고 설명했다.

특히, 증강현실(AR), 가상현실(VR), 메타버스 등과 같은 미래 기술을 활성화하기 위해서는 고속·저지연이 중요하다. 김 부사장은 “Wi-Fi는 2.4GHz, 5GHz, 6GHz와 같이 저주파수 대역을 사용하기 때문에 회절성이 상대적으로 높아 안정적으로 데이터 고속 전송이 가능하다”고 설명하며, 최근 오픈된 6GHz대역에서 320MHz 대역폭이 가능해지면서 기기 간 초고속·저지연 연결이 당초 예상보다 빨리 실현될 수도 있어 이를 위한 Wi-Fi 개발의 중요성을 강조했다. 또한 같은 시기에 Connectivity팀에서 최신 사양(BT5.2)까지 개발, 상용 완료한 Bluetooth, 고성능 측위를 위해 L5위성과 센서보정기술까지 적용하여 Flagship진입에 성공한 GNSS, 그리고 최근 수cm레벨 정확도의 실내 위치 측정을 위해 개발 완료하여 첫 상용을 준비중인 UWB기술까지 접합한다면 앞으로 많은 고사양 IoT 서비스와 application에서 강력한 위력을 발휘할 수 있다는 의견을 피력했다.  

마지막으로 그는 “최신 기술 적용 제품의 시장 표준 선점과 미래 경쟁력 확보, 그리고 기술 개발의 지속성, 호환성과 안정성 조기 확보 차원에서 Wi-Fi 무선 공유기(Access Point)^[11]구현과 관련된 제품 시장에도 진출하기를 개인적으로는 기대하고 있다”고 덧붙였다.

스마트폰 속 개인정보를 안전하게 보호한다: 독립적인 보안 실행 환경 강화하는 시큐리티(iSE)

오늘날 스마트폰은 신분증이나 지갑의 역할을 대체하기도 한다. 대표적인 예로 생체 인식, 모바일 신분증(eID), 삼성페이 등이 있다. 이러한 서비스들은 사용자 인증을 요구하는 경우가 많은데, 사용자 인증을 하는 과정에서 해킹 발생 가능성이 높다. 따라서 소프트웨어 차원의 보안을 넘어, 하드웨어 상의 즉 반도체 레벨에서의 높은 수준의 보안이 요구된다.

스마트폰에서 보안을 제공하는 반도체를 ‘SE(Secure Element)’라고 한다. 기존에는 SoC 외부에 eSE(embedded Secure Element)가 별도로 존재했으나, 엑시노스 2020부터 SoC 내부의 시큐리티 블럭에 iSE(integrated Secure Element)를 탑재하고 있다.

Design Platform개발팀을 이끌고 있는 이종우 상무는 “엑시노스의 iSE는 Secure Tamper-Resistant of Next Generation의 첫 알파벳을 딴 ‘STRONG’이라는 프로젝트명으로 탑재되고 있다. iSE는 SoC 내 독립된 보안 프로그램 실행 환경으로서, 외부에 단독으로 추가하는 eSE의 역할뿐만 아니라, SoC 보안을 컨트롤할 수 있다. 선단 공정을 사용해 성능이 높고, 외부 메모리(DRAM, Flash)로 안전한 확장이 가능하다”며 “SoC 보호를 위한 ‘액티브 보안 모듈’의 역할로 확장될 수도 있다”고 설명했다.

▲모바일 기기의 보안 환경 강화를 위해 매진하고 있는 AP S/W 개발팀의 박근영 님, Design Platform개발팀의 이종우 상무, 강보경 PL, 김성현 님(왼쪽부터)

iSE의 응용처는 ‘기기 보안(device security)’과 ‘보안 서비스(security service)’로 나눌 수 있다. ‘기기 보안’은 기기 자체의 보안 강화 요구이고, ‘보안 서비스’는 모바일 기기에서의 모바일 신분증, 페이먼트, 자동차 키 등 사용자 정보를 기반으로 하는 것. 이종우 상무는 “올 초, iSE의 대표적인 응용 서비스인 ‘iSIM^[12]’의 PoC(Proof of Concept)를 마쳐 개발에 성공했다”며 “데이터 보안 SW 기업 탈레스(Thales), 보안 OS를 개발하는 삼성리서치와 함께 긴밀하게 협업한 결과”라고 강조했다.

iSIM은 ‘eSIM(embedded SIM)’에서 한 단계 발전한 형태로, SIM 기능을 SoC 내에 통합한 형태다. 사용자 입장에서는 SIM 카드 교체 없이 통신사 변경이 가능하고, 2개 이상의 전화번호를 보유할 수 있으며, 여러 통신사를 한 기기 안에서 사용할 수 있어 편하다. 한편, 세트 메이커(Set maker) 입장에서는 SIM 카드 슬롯(Slot)을 없앨 수 있고, eSIM처럼 별도의 반도체 없이 SoC 내에서 구현돼 부품 공간을 줄이는데 유리하다.

▲uSIM, eSIM, iSIM 사이즈 비교

iSIM의 개발이 더욱 의미가 있는 이유는 iSIM이 탑재될 수 있는 기술 환경 조건이 상당히 까다롭기 때문. 이종우 상무는 “iSIM은 ‘CC EAL4+^[13]’이라는 특정 보안 수준 이상의 하드웨어와 OS 소프트웨어 위에 탑재되어야 한다는 GSMA 조건을 충족해야 하는데, 우리는 가이드라인보다 한 단계 높은 ‘CC EAL5+’ 인증 수준의 하드웨어를 갖췄다”며 “또한 대용량 SIM 프로파일을 탑재할 수 있는 시큐어 외부 메모리를 구현하고 있다”고 강조했다.

이 상무는 “삼성전자는 eSIM과 iSIM의 근간이 되는 eSE와 iSE를 모두 제공할 수 있는 유일한 기업인 만큼 스마트폰 제조사가 유연하게 채택할 수 있는 솔루션을 제공할 것”이라고 밝혔다. 이어 그는 “개인적으로 보안 영역에서 ‘완벽하다’는 것은 존재하지 않는다. 완벽에 가까운 보안을 위해 노력하는 것”이라며 “플랫폼의 다양한 보안 기능을 수용할 수 있는 고차원의 보안 실행 환경을 제공하도록 팀원들과 함께 노력하겠다”고 전했다.

컴퓨터를 능가하는 두뇌를 탑재하다: Arm社와의 협력 강화하는 CPU

컴퓨터에서 CPU(Central Processing Unit, 중앙처리장치)는 사람의 ‘대뇌’에 비유되곤 한다. 기억, 해석, 연산, 제어라는 4대 주요 기능을 담당하는 가장 핵심적인 장치로서 PC의 전반적인 성능을 좌우한다. 모바일 CPU 역시, 운영체제(OS) 위에서 모든 소프트웨어(애플리케이션)를 실행하고 다른 하드웨어 장치들을 제어하는 역할을 한다.

CPU의 성능은 클럭^[1] 속도, IPC^[2], 코어^[3] 수 등에 따라 결정된다. 과거 피처폰에 들어가던 CPU는 단순한 파이프라인 구조의 단일 코어로 병렬 처리가 제한돼 최대 주파수가 수백 MHz 수준에 불과했다. 하지만 오늘날 스마트폰의 CPU는 슈퍼스칼라^[4] 구조로 여러 개의 명령어를 병렬 처리하고 최대 주파수는 3GHz(초당 30억 번의 신호를 생성한다는 의미)에 이르며, 멀티 코어 구조를 갖는다. 모바일 CPU가 이제 데스크탑 CPU 이상의 고성능 마이크로 아키텍처를 구현하는 것.

엑시노스에 탑재된 CPU는 소형화·저전력화를 위해 ‘빅코어(Big Core)’에서 ‘빅리틀(Big-Little)’로, 다시 ‘빅미드리틀(Big-Mid-Little)’ 구조로 발전해왔다. ‘빅리틀’은 전력 소모가 적게 필요한 곳에는 작은 코어(Little Core)를 돌려서 조금만 전류를 소모해 배터리를 절약하는 개념이다. 예를 들면, 문자를 쓸 때와 3D 게임을 할 때에 필요한 CPU 성능이 다르기 때문에, 문자를 보내기 위해 굳이 고성능의 CPU 코어를 돌리는 것이 불필요하다는 것이다.

▲ 20여 년간 줄곧 CPU 분야에 몸담고 있는 CPU 전문가 정우경 PL

엑시노스에 탑재되는 CPU 관련 모든 업무를 총괄하는 SoC설계2팀 정우경 PL은 “CPU는 SoC 등 모든 시스템의 경쟁력을 크게 좌우할 뿐 아니라, 반도체의 첨단 기술 적용에 있어 가장 최우선 순위에 있는 중추적인 분야”라며 입사 이래 20여년 간 몸담은 CPU에 대해 설명했다.

이어 그는 “개발 핵심은 제한된 전력 한도(power budget) 내에서 고성능을 내는 것”이라며 “다양한 시나리오에서 최대의 효율을 내기 위해 종류가 다른 CPU 코어들(Big-Mid-Little Core)을 적절히 조합해 운영하는 것이 중요하다”고 말했다. 엑시노스의 CPU는 게임, 카메라 등 고성능을 요하는 다양한 모바일 시나리오에서 최고의 경험을 제공할 수 있도록 동작 코어 조합을 최적화시킨다.

▲ 엑시노스 2200의 CPU 코어 구조

삼성전자는 반도체 설계 기업 Arm의 IP를 활용해 CPU 성능을 끌어올리고 있다. 내부 개발진의 구체적인 업무 영역에 대해 물었다. 정우경 PL은 “제품에 들어갈 CPU의 목표 성능을 결정하고, CPU IP를 입수, 성능을 예측 및 검토, 검증 작업을 거치며, 양산 전 디버깅^[5] 등 CPU 성능 향상을 위한 전반적인 개발 업무를 수행한다”며 “Arm에서 RTL^[6]로 제공된 CPU 설계를 최적의 반도체 칩으로 구현하는 것과 CPU 성능을 최대로 낼 수 있도록 적합한 메모리 서브시스템 등 CPU 주변 회로를 설계·구현하는 것 모두 SoC설계팀의 업무”라고 덧붙였다.

정우경 PL은 앞으로의 개발 방향에 대해 “Arm CPU를 채용하면서 ‘칩 레벨(Chip Level)’이 아닌 ‘세트 레벨(Set Level)’까지 소프트웨어 최적화를 하여 모바일 업계 최고 CPU를 만들 것이며, ‘E2E(End-to-End) Total Solution Provider’를 향한 비전을 갖고 있다”면서 “이러한 목표 달성을 위해 CPU 개발진들은 제품의 초기 개발 단계에서부터 Arm, 세트 업체, 파운드리 공정 등과 One Team으로 매우 긴밀하게 협력하고 있으며, 성능 향상을 위해 차세대 패키징(Advanced Packaging) 기술 활용 등 다양한 방안을 모색하고 있다”고 밝혔다.

특히, 정 PL은 앞으로 AR, 메타버스 등 미래 기술과 관련해서 CPU, GPU, NPU와 같은 모든 프로세서를 적절히 활용한 SoC 레벨의 통합 머신러닝(Machine Learning) 처리 성능이 중요한 핵심 경쟁력이 될 것으로 내다봤다. 이어 그는 “CPU도 머신러닝 처리 성능을 강화하여 경쟁력 확보에 힘쓸 것”이라고 강조했다.

상상하는 것, 기술을 통해 이룬다: 6세대에 걸친 고도화된 독자 기술력 기반의 NPU

NPU(Neural Processing Unit, 신경망처리장치)는 딥러닝 알고리즘 연산에 최적화된 프로세서로, 빅데이터를 사람의 신경망처럼 빠르고 효율적으로 처리할 수 있다. 이러한 특징 때문에 인공지능(이하 AI) 연산에 주로 활용되는 반도체다. 설명은 다소 어렵게 들리지만, 이미 우리 생활에서 흔히 사용되고 있다. 스마트폰 카메라로 사진을 찍을 때 배경 안의 사물·환경·인물을 인식해 자동으로 초점을 조정하는 것, 음식 사진 촬영 시 카메라가 음식 모드로 자동 전환되는 것, 촬영된 결과물에서 불필요한 피사체만 지울 수 있는 것도 모두 NPU 덕분.

▲ 최신 스마트폰의 ‘AI 지우개’ 기능은 NPU의 발전으로 가능하게 됐다.

NPU가 없던 과거에는 주로 GPU로 AI 연산을 수행했는데, 하드웨어의 구조적인 차이로 인해 연산 효율이 떨어졌다. 이제는 AI 연산을 주로 NPU가 담당해 모바일 기기에서도 더 효율적으로 데이터를 처리할 수 있다. 데이터의 병렬 연산 처리에 최적화돼 AI 기반의 애플리케이션이 저전력으로 빠르게 동작하기 때문이다.

엑시노스의 NPU 개발 역사는 2016년 시작됐다. NPU를 탑재한 최초 제품은 엑시노스 9820으로 2019년 출시된 갤럭시 S10에 처음 들어갔다. SoC의 하드웨어 디자인 설계를 담당하다가 2세대 NPU부터 함께했다는 권석남 PL은 “6년 전 첫 TF가 구성될 때만 하더라도 20여명에 불과했던 연구원이 현재 해외 연구소까지 포함하면 10배 이상 늘었다”며 “지금은 NPU가 매우 관심이 높은 분야이지만, 당시만해도 해외 대학의 동영상 강의 등을 찾으며 공부해야 할 정도로 낯설고 새로웠다”고 회상했다.

▲ 입사 후 2세대 NPU 개발부터 함께하며, NPU 개발진을 이끌고 있는 권석남 PL

과거 NPU를 활용하는 영역은 이미지 기반의 객체 검출 등 비교적 단순했다. 하지만 인공지능 시대로 접어들면서 최근에는 카메라 화질 개선, 음성 서비스 등 점차 더 많은 연산량을 필요로 하는 고성능 IP에 대한 시장 요구가 커지고 있다. 게다가 SoC에 들어가는 각 IP의 성능이 높아질수록 면적과 전력이 증가하다 보니, 가장 효율적인 아키텍처를 선정하는 것이 관건.

고성능 NPU일수록 인식 속도와 사진 결과물이 달라진다. 최신 엑시노스에 탑재된 NPU는 전작에 비해 성능이 두 배 이상 개선됐다. 6세대에 걸쳐 NPU 솔루션을 독자 개발해온 만큼, SoC설계팀의 기술과 노하우는 이미 고도화됐다. 권석남 PL은 “엑시노스의 NPU는 MLPerf 등의 벤치마크 성능, 파워 효율성, 면적 경쟁력 등 전반적인 분야에서 절대적인 경쟁력을 갖춘 IP 솔루션”이라며, “성능을 위한 아키텍처 최적화와 파워 효율성 개선을 통해 엑시노스의 경쟁력을 확보하고 있다”고 말했다.

▲ 클라우드 서버를 사용하는 인공지능과 온디바이스 인공지능의 비교

앞으로 NPU와 관련된 기술은 어떤 방향으로 발전하게 될까? 이에 대해 권석남 PL은 “스마트폰에서 민감한 개인정보 유출 사고 위험을 최소화하기 위해 서버를 거치지 않고 개인 폰에서 AI 연산을 수행하는 온디바이스(On-device) AI가 확산될 것으로 예상된다. 이를 위해서는 한 단계 향상된 모바일 NPU의 성능이 필요하다”고 설명했다. 또한 “지금은 하나의 NPU가 여러 연산에 범용적으로 사용되지만, 미래에는 응용 프로그램별 특화된 AI 알고리즘을 동작 시키고자 하는 요구도 예상돼 각 도메인에 특화된 NPU를 개발하는 것도 중요해질 것”이라고 강조했다.

다가오는 자율주행 시대와 관련해서는 “가까운 시기에 현실화될 첨단 운전자 보조 시스템(ADAS)은 방대한 데이터의 자율주행 알고리즘을 실시간으로 수행할 수 있는 하드웨어가 반드시 필요하다. 이를 위해 더욱 높은 성능의 NPU가 요구되고 있고, 삼성전자도 시장 요구에 맞춰 자율주행 기기를 위한 강력한 성능의 NPU를 준비하고 있다”고 권 PL은 덧붙였다.

마지막으로 개발 과정에서 보람 있었던 순간을 묻자, 권석남 PL은 “엑시노스에 매년 향상된 성능의 NPU를 탑재하고 있다는 사실 자체가 큰 보람”이라고 말했다. 이어 “미래 시장의 핵심 IP로 성장할 분야이기에 개인적으로 NPU의 개발 업무는 개인과 기업 차원의 발전은 물론, 나아가 국가 경쟁력에도 일조하는 일이라는 자부심을 갖고 있다”며 ‘상상하는 것을 이룰 수 있는 최고의 분야’라고 전했다.

※ 기사 내 삽입된 이미지는 이해를 돕기 위해 연출된 것으로 실제 제품에 의한 결과물과 일치하지 않을 수 있습니다.

기술집약적 시스템반도체 SoC, ‘엑시노스’

삼성전자 AP 브랜드 엑시노스(Exynos)의 7대 IP 개발 리더들을 본격적으로 만나기 앞서, SoC(System-on-Chip, 시스템온칩) 설계를 총괄하는 시스템LSI사업부 SoC개발실장 김민구 부사장을 만났다.

먼저 SoC의 개념, 즉 여러 기능이 하나의 칩으로 통합되는 근본적인 이유부터 물었다. 김민구 부사장은 “칩이 나눠져 있으면 통합적인 전력 제어가 어렵고, 개별로 전력을 소모하면 배터리 효율이 낮아진다. 또한 칩들 사이에서 데이터 전송을 위한 대역폭 제한과 전송 시간 지연 등이 발생해 성능 저하를 불러오게 된다”고 설명했다. 스마트폰은 데스크탑처럼 전력을 계속 공급받으면서 사용하는 제품이 아니기에 저전력 특성이 매우 중요한 것.

이어 김 부사장은 “SoC는 통합 전력 제어로 효율성이 높을 뿐 아니라 단일 칩 형태로 면적이 크게 줄어 공간 확보에 용이하다”며 “단일 칩 내부에서 모든 기능을 수행하므로 성능도 크게 향상된다”고 덧붙였다. 휴대 전화가 단순히 전화, 문자 송수신의 기능을 넘어 지금의 비디오, 게임, 금융 서비스 등 수준 높은 다양한 기능으로 확장된 데에는 엄지 손톱보다 작은 SoC의 역할이 컸다.

김민구 부사장은 SoC를 ‘시스템 반도체의 꽃’에 비유했다. 현존하는 주요 IT 기술들이 집약된 결정체라는 이유에서다. 그는 “SoC는 쉽지 않은 영역이지만 엔지니어라면 누구나 도전해보고 싶은 유망한 분야일 것”이라며 “앞으로 SoC의 역할은 메타버스, 자율주행, 6G 등 미래 산업에서 더욱 무궁무진하다”고 강조했다.

삼성전자는 GPU, NPU, ISP, 모뎀, RF 등 독자 IP 개발에 박차를 가할 계획이며, 칩 설계 분야에서 한 발 더 나아가 플랫폼 솔루션 업체로 거듭나고자 노력하고 있다. 김 부사장은 “SoC의 경쟁력을 앞세워 ‘엑시노스’를 전 세계인들이 믿고 쓰는 최고의 모바일 AP 브랜드로 인정받게 할 것”이라며 “이번 기획 시리즈를 통해 SoC의 역할과 중요성, 나아가 엑시노스의 특장점과 개발 방향이 보다 많은 사람들에게 공유되길 바란다”고 전했다.

모바일 게이밍의 가능성을 확장하다: 한층 강화된 그래픽을 제공하는 GPU

그래픽 처리는 일반적으로 대규모 단순 연산이 필요하며, 병렬로 처리할 경우 더 빠르고 효율적이다. 하지만 CPU는 고속의 순차 처리에 특화된 구조이기에, CPU로 그래픽 처리를 하면 단순 연산을 수없이 수행하느라 정작 중요한 연산은 구동을 대기하게 되는 경우가 생긴다. 예를 들면, 게임을 구동했는데 화면에 그림을 나타내느라 터치 입력이 지연돼 내 캐릭터가 적을 피하지 못하는 상황이 생길 수도 있다는 것.

이런 문제를 해결하기 위해 등장한 것이 GPU(Graphics Processing Unit, 그래픽처리장치)다. GPU가 없던 과거에는 CPU가 모든 일을 처리했으나, 점차 자주 사용하는 유사한 연산에 대해서 별도의 가속기를 만들어 효율을 높이고자 만들어졌다. CPU가 범용 계산기라면, GPU는 그래픽 처리에 특화된 대규모 병렬 계산기인 셈이다. 이렇게 탄생한 GPU는 그래픽 처리를 위한 핵심 부품 중 하나로 CPU의 명령을 받아 모니터 상에 사물들의 모양, 위치, 색상, 질감 등을 표현해낸다.

엑시노스 2200에 탑재된 GPU ‘엑스클립스 920(Xclipse 920)’은 삼성전자가 PC·콘솔 게임기향 GPU 업체인 美 AMD와 공동 개발한 첫 결과물이다. 삼성의 GPU 브랜드 ‘엑스클립스’는 ‘Exynos’의 ‘X’와 일식을 뜻하는 영어 단어 ‘Eclipse’의 합성어로 모바일 게이밍의 한계를 넘어 콘솔 게임 수준의 성능을 통해 새로운 시대를 연다는 의미.

▲ GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무

이처럼 삼성전자는 AMD와 협업해 콘솔급 GPU를 저전력화해 모바일에 이식했다. AMD의 GPU가 원래는 PC나 콘솔급 이상을 위해 제작된 것이다 보니 모바일 환경에 맞춰주는 재설계가 필요했고, 모바일에서 상대적으로 제약된 메모리 대역폭과 방열 상황에 맞춘 설계가 새롭게 진행됐다. GPU 개발을 총괄하는 모바일 프로세서 설계 전문가 박성범 상무는 “그동안 모바일 SoC를 개발하며 확보한 저전력 설계에 관한 많은 노하우를 기반으로 첫 세대만에 ‘소형화’, ‘저전력화’에 성공할 수 있었다”며 “콘솔 게임기와 달리 팬(fan)이 없는 환경에서 프레임이 끊기지 않도록 성능을 유지하면서 발열을 최소화하는 데 집중했다”고 말했다.

엑시노스에 탑재된 GPU의 주요 역할은 3D 가상 공간에 있는 사물들을 스마트폰 2D 스크린에 그리는 일. 따라서 화려한 그래픽이 포함된 모바일 게임을 할 때 그 역할이 두드러진다. 특히, 엑스클립스 920(Xclipse 920)은 ‘광선 추적(Ray Tracing)’ 기능을 하드웨어에서 지원하는 최초의 모바일 AP다. 이 기능은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현하는 기술로서 소프트웨어가 아닌 하드웨어에서 자체적으로 지원하기 때문에 더욱 빠른 실시간 연산이 가능하다. 또 화면 내 물체들의 색상, 음영, 움직임 등의 변화 정도에 따라 GPU의 연산량을 조절하는 ‘가변 레이트 쉐이딩(Variable Rate Shading)’ 기술을 도입해 GPU의 과부하를 줄여준다.

▲ 엑스클립스 920(Xclipse 920)은 빛이 사물에 반사되어 형성되는 이미지까지 실감나게 표현해내는 ’광선 추적(Ray Tracing)’ 기술을 하드웨어에서 자체적으로 지원한다.

게임 유저가 많아지고 그래픽이 화려해지면서 GPU에서의 중요한 개발 방향은 ‘콘솔에서 느낄 수 있는 수준의 고성능 구현’과 ‘저전력’이다. 이 두 가지는 앞으로 콘솔 게임에서 느끼는 화려한 그래픽의 감동을 모바일에서 재현하기 위해 반드시 필요한 요건이다. 박 상무는 “통상적으로 모바일 분야가 콘솔 분야의 기술을 5년 정도 후행해서 쫓아가는 경향이 있는데, AMD와의 협업을 통해 콘솔에서의 최신 기술들을 단숨에 Exynos 2200에 탑재했고, 해당 SoC는 갤럭시 S22에 적용됐다”며 “앞으로도 AMD와의 협업을 통해, RDNA 시리즈에 있는 다른 기능들도 지속 도입할 계획”이라고 언급했다.

모바일 GPU의 향후 성장성을 묻자, 박성범 상무는 “스마트폰의 성능이 상향 평준화되면서, 소비자가 체감할 만한 성능 차이를 만들어내는 것이 쉽지 않은 것이 사실”이라며 “앞으로 플래그십 스마트폰 사용자가 최신 스마트폰을 구입해야 할 이유가 있다면, 그것은 게임 성능 때문일 확률이 높을 것”이라고 말했다. 그만큼 스마트폰의 게임 성능을 좌우하는 GPU의 발전 가능성이 높다는 의미.

또한 그는 증강현실(AR)이나 가상현실(VR) 분야에서도 모바일 GPU가 더욱 중요해질 것으로 내다봤다. 박 상무는 “증강현실 분야의 GPU는 안경처럼 가벼운 기기에 탑재되어야 하므로 저전력 설계가 매우 중요하고, 가상현실 분야에서는 눈에 보이는 온 세상을 그래픽으로 빠르게 표현해야 하므로 성능 요구 사항이 훨씬 높은 편”이라며 “이처럼 다양한 개발 요구 사항을 맞추는 동시에 현재 구현 가능한 수준보다 훨씬 더 빠르고 실감나게 이미지를 그려 내기 위해서 모바일 GPU가 성장해가야 할 길은 앞으로도 무궁무진하다”고 강조했다.

기본 카메라의 만족도를 높이다: 한층 자연스럽고 선명한 이미지 보여주는 ISP

ISP(Image Signal Processor, 이미지신호처리)는 이미지센서에서 전송된 가공되지 않은 데이터(raw data)를 보정하여 소비자가 선호하는 형태의 사진이나 영상을 만들어내는 역할을 한다. 광학계와 이미지센서로 이루어진 카메라 모듈에서 발생할 수 있는 물리적 한계점들을 보정하고, R/G/B 값들을 보간, 노이즈를 제거한다. 또 영상의 부분적인 밝기를 조절하고, 디테일한 부분을 강조하는 등의 후처리를 수행한다. 쉽게 말해, 화질 튜닝 및 보정 과정을 자체적으로 거쳐 소비자가 좋아할 만한 결과물을 만드는 것.

▲ 카메라 모듈에서 촬영된 가공되지 않은 데이터(raw data)의 처리 과정

초창기 스마트폰에는 ISP가 별도의 칩으로 탑재됐었지만, 시장의 요구에 따라 점차 내장 ISP가 활발히 사용되기 시작했다. 20년 넘게 영상 처리 분야에서 몸담고 있는 Multimedia개발팀의 최종성 PL은 “처음에는 디지털 카메라에 사용할 수 있을 정도의 고성능 ISP를 개발하기 위해 해외연구소와 협업했고, 그 결과 갤럭시 S4에서 갤럭시 시리즈 최초로 메인 카메라에 내장 ISP를 사용했다”고 회상했다. 엑시노스는 2012년부터 DSLR급 ISP의 AP 내재화를 통해 스마트폰 카메라의 화질을 비약적으로 발전시키는데 기여했다.

▲ 20년 이상 영상 처리 분야에 몸 담아온 영상 처리 전문가 최종성 PL

고성능 ISP를 통해 소비자가 체감할 수 있는 기능은 크게 두 가지로 ‘더 나은 화질’과 ‘더 빠른 처리’다. 최종성 PL은 “사진이 잘 나왔다는 것은 주관적인 판단이어서 구체적인 수치로 제시하기는 어렵지만, 자연스럽고 선명한 사진과 영상을 구현하기 위해 딥러닝을 활용한 영상 평가, ISP 튜닝 기법 등 다양한 연구를 하고 있다”고 설명했다. 또한 사진의 연사 속도를 결정하거나 고해상도의 사진과 비디오를 빠르게 처리하는 것도 ISP의 몫이다.

▲ Semantic Segmentation 기술을 활용한 Contents aware image processing의 예시

최신 엑시노스에 탑재된 고성능 ISP는 최대 2억 화소까지 처리할 수 있다. 최대 7개의 이미지센서를 지원하며, 4개의 이미지센서에서 입력되는 영상과 이미지의 동시 처리가 가능하다. 또한, NPU의 도움을 받아 촬영 중인 장면의 부분들을 인식·분류하는 장면 세분화(scene segmentation) 기술을 탑재함으로써 하늘, 수풀, 피부 등에 각기 다른 파라미터를 적용해 처리하는 기능도 포함됐다. AI 기능을 통해 촬영 시, 사람 얼굴을 감지해서 표시하거나 그 얼굴의 좌표와 정보를 이용해서 영상의 밝기, 초점, 색상을 조절하기도 한다.

ISP의 향후 개발 방향을 묻자, 최종성 PL은 ‘저전력’과 ‘영상 화질 개선’을 꼽았다. 저전력을 유지하는 동시에 영상 화질을 개선하는 것에 집중하고 있다는 것. 최 PL은 “이미지센서에서 전송되는 데이터들을 ISP에서 실시간으로 처리해야 하는데, 그 양이 기하급수적으로 증가하는 추세라 메모리에 저장했다 다시 읽어올 때 발생하는 전력 소모가 상당 수준으로 늘어난다”며 “엑시노스는 단 한 번만 메모리에 저장하는 방식으로 전력 소모를 최소화하고 있다”고 강조했다.

이어 영상 화질과 관련해서는 “예상보다 빠르게 비디오의 시대가 열리면서, 영상 화질을 개선하는데 주력하고 있다”며 “특히, 어두운 저조도 환경에서도 비디오 화질을 높여 차별화된 강점으로 경쟁력을 높이고자 노력하고 있다”고 전했다.

※ 기사 내 삽입된 이미지는 이해를 돕기 위해 연출된 것으로 실제 제품에 의한 결과물과 일치하지 않을 수 있습니다.

눈앞에서 즉석 연주되는 듯 생생한 음악에서 몰입감 넘치는 가상현실 게임, 한층 업그레이드된 촬영 경험까지. 완전히 새로운 모습으로 돌아온 2021년형 엑시노스가 선사하는 일상 속 즐거움을 아래 영상에서 만나볼 수 있다.

삼성전자가 온라인으로 진행되는 ‘Exynos On 2021’ 행사에서 완전히 새로워진 엑시노스(Exynos) 프로세서를 공개한다.

2021년 1월 12일 오후 11시(한국 시간), 삼성전자 뉴스룸, 삼성전자 유튜브, 엑시노스 웹 사이트에서 프리미엄 모바일 프로세서의 기준을 새롭게 정립할 2021년형 엑시노스를 만나볼 수 있다.