[릴레이 인터뷰로 만나는 미래 기술] ④ 사용자 경험 최적화하는 숨은 일꾼 ‘시스템 소프트웨어’… 삼성리서치 러시아 연구소

(3편에 이어)

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 네 번째 주자는 삼성전자 러시아 연구소(Samsung R&D Institute Russia, SRR)의 선행 시스템 소프트웨어(Advanced System Software) 랩장 예브게니 파블로프(Evgeny Pavlov)다. 지난해부터 랩을 이끌고 있는 예브게니는 지난 9년간 러시아 연구소에서 프로그램 분석의 첨단 기법을 연구해왔다.

시스템 소프트웨어(SW)는 응용 소프트웨어를 실행할 수 있는 플랫폼을 제공하기 위해 설계된 소프트웨어다. 다시 말해 응용 소프트웨어와 하드웨어를 연결해 주는 다리 역할을 한다. 스마트폰, AI 기반 앱의 프레임워크, 시스템 서비스, 개발자용 도구(SDK) 등에 사용되는 운영체제(Operating System, OS)가 그 예다. 시스템 소프트웨어는 해당 컴퓨터 시스템의 일부를 구성하는 응용 소프트웨어와 상호 통신하며 하드웨어를 작동하고 통제, 관리할 수 있도록 설계돼 있다. 즉, 우리가 모바일 기기로 즐기는 앱 또는 서비스의 기반이 되는 하드웨어와 소프트웨어의 조합이라 할 수 있다. 시스템 소프트웨어 연구에 대한 자세한 내용은 예브게니와의 일문일답으로 정리했다.

Q: AI와 머신러닝 연구는 모든 종류의 기술을 설계하고 최적화하는 데 매우 중요하다. 시스템 소프트웨어 연구는 이런 기술을 활성화하는 데 있어 어떤 역할을 수행하나?

시스템 소프트웨어 연구는 사용자들의 눈에 보이지는 않지만, 머신러닝에서 매우 중요한 역할을 한다. 머신러닝 프레임워크를 최적으로 실행시키려면 다양한 하드웨어 기능을 고려해야 하는데, 여기서 시스템 소프트웨어의 역할은 필수적이다.

AI 업계의 최신 트렌드는 신경망 가속(Neural Network Acceleration)에 특화된 처리 장치를 통합하는 것이다. 최근 몇 년간 많은 기업이 인간의 신경망과 유사한 방식으로 연산 기능을 수행하는 신경망처리장치(Neural Processor Unit, NPU) 개발에 힘쓰고 있다. 그 결과, 우리는 다양한 AI 기반 기술을 스마트폰에서 사용할 수 있게 됐다.

여기서 중요한 것은 주어진 신경망 모델을 해당 NPU가 이해할 수 있는 일련의 명령으로 변환해 머신러닝 모델을 최적화 시키는 작업이다. 이 과정을 신경망 컴파일러(Neural Network Complier)가 자동으로 수행하는데, 이때 컴퓨터 하드웨어에 대한 이해도가 높은 시스템 소프트웨어 개발자의 역할이 매우 중요하다.

다시 말해, 최근 AI 트렌드로 인해 시스템 소프트웨어 엔지니어의 주력 분야가 범용 프로그램의 최적화에서 AI와 머신러닝 기반 프로그램의 최적화까지 확장되고 있다고 볼 수 있다.

Q: 러시아 연구소를 간략히 소개한다면?

러시아 연구소는 센서 솔루션(Sensor Solution), AI 이미징(AI Imaging), 시스템 소프트웨어, 이 세 분야를 집중 연구하고 있다.

특히, 생체 인증과 라이프 케어(Life Care) 분야에서 하드웨어와 알고리즘 개발, 솔루션 상용화를 포함하는 센서 연구의 전 과정에 걸친 경험을 보유하고 있고 스마트폰의 홍채·얼굴·지문 인식, 스마트워치의 체성분 분석 개발 등에 기여 해왔다. AI 이미징 분야에서는 AI와 광학 분야의 시너지로 스마트폰 카메라의 ‘슈퍼 슬로우 모션’이나 ‘야간 모드’ 개발에도 참여했다.

마지막으로 가장 유망한 분야 중 하나는 시스템 소프트웨어다. 다양한 하드웨어와 OS에 대한 깊은 이해 그리고 막강한 엔지니어를 바탕으로 다양한 제품과 서비스를 위한 시스템 소프트웨어 핵심 기술을 제공하기 위해 최선을 다하고 있다.

Q: 현재 주력 연구 분야를 소개해달라.

우리 랩은 강점 역량인 컴파일러 기술을 기반으로, 전통적인 시스템 소프트웨어 기법 연구뿐만 아니라 이를 대체할 최신 시스템 소프트웨어 개발을 위한 기법도 병행해 연구하고 있다.

주요 연구 분야는 주력 제품을 차별화하고 기능을 고도화하기 위한 안드로이드(Android)와 타이젠(Tizen) 전용 컴파일러 기술, 5G 기술의 확장성을 높이기 위한 vRAN(virtualized Radio Access Network) 기술, 온디바이스 AI 플랫폼을 위한 NPU 기술과 온디바이스 AI 소프트웨어 개발을 위한 SDK 개발 등이다.

또한, 삼성리서치 온디바이스랩과 협업해 ‘ONE(On-Device Neural Engine)’이라는 온디바이스 AI 플랫폼을 위한 오픈소스 프로젝트 추진 등 시스템 소프트웨어와 관련된 오픈소스 활동도 하고 있다.

Q: 온디바이스 AI와 시스템 소프트웨어 기술은 강력하고 혁신적인 모바일 경험을 위한 필수조건이다. 이런 측면에서 러시아 연구소의 시스템 소프트웨어 연구 방향이 궁금하다.

시스템 소프트웨어는 앱 운용과 사용자 경험에 핵심적인 역할을 한다. 시스템 소프트웨어는 하드웨어와 앱을 연결해주는 하위 계층(Layer)으로 모든 소프트웨어의 근간이다. 사용자는 스마트폰에서 앱을 사용할 때 인터페이스만을 보지만, 시스템 소프트웨어는 보이지 않는 앱의 하단에서 여러 계층에 걸쳐 있는 프로그램 로직을 처리하며 많은 역할을 수행한다.

예를 들어 사용자가 스마트폰 화면을 터치한다고 가정해 보자. 이 간단한 동작 하나에도 사용자의 터치를 시스템 커널(Kernel)에서 인식하게 하고, 그래픽 라이브러리로 해당 창(Window)을 열도록 하는 등의 단계가 필요하다. 이 단계 중 어느 하나라도 지연이 발생할 경우 시스템 전체의 성능과 사용자 경험에 영향을 줄 수 있다. 따라서 최대 성능을 내면서도 메모리 사용량과 지연(latency)을 최적화하는 시스템 소프트웨어의 역할이 중요하다.

또한, 하드웨어 가속기(Accelerator)와 모바일 기기의 결합은 AI 기반 앱 개발에 크게 영향을 주고 있다. 우리에게 익숙한 스마트폰 이미지 화질 개선, 지문이나 홍채 등 생체 인증을 활용한 잠금 해제, 키보드 자동 완성 등과 같은 AI 기반 기능을 가능케 한 것이다. 향후 가속기 개발이 진전될수록 모바일 기기는 더 스마트해지고 사용하기 쉬워질 것이며, SF 영화에서나 꿈꾸던 AI 앱도 현실화될 것이다.

이 외에도, 시스템 소프트웨어는 AI 기반 기술을 사용함으로써 맞춤형 모바일 경험에도 기여한다. 예를 들어 사용자의 위치, 현재 활동 상황, 기기 사용 패턴에 따른 맞춤형 설정을 제공할 수 있다. 우리 연구소는 온디바이스 AI 기술을 활용해 시스템 소프트웨어를 개선하는 연구를 활발히 진행하고 있다.

Q: 온디바이스 AI 기술을 모바일 기기에 통합해 얻을 수 있는 이점에는 어떤 것이 있나?

AI 기반 앱의 인기가 높아지면서 온디바이스 AI도 더 주목을 받고 있다. 기존에는 AI 기반 앱을 실행하려면 복잡한 연산 수행이 가능한 고성능 클라우드 서버가 필요했다. 하지만 모바일 프로세서 성능이 높아지고 전용 하드웨어 가속기가 통합되면서, 이러한 앱이 서버가 아닌 모바일 기기에서 직접 실행되도록 개발할 수 있다.

AI 앱에 사용되는 신경망이 기기 안에서 실행될 경우 사용자 입장에선 장점이 많다. 첫째, 데이터를 서버로 보내고 결과를 기다릴 필요가 없어 불필요한 응답 지연 시간을 줄일 수 있다. 둘째, 모든 처리가 기기 안에서 이뤄지기 때문에 개인정보 보호에도 기여한다. 마지막으로 인터넷 연결 없이도 앱을 실행할 수 있다.

▲ 삼성전자 러시아 연구소(Samsung R&D Institute Russia, SRR) 연구원들

Q: 새로운 아이디어 발굴을 위해 다른 랩이나 학계와 협업이 중요할 것 같다.

연구소 자체적으로 관련 분야의 최신 트렌드를 모니터링하고, 내부 세미나에서 개발 경험을 공유하며, 다른 연구팀과 적극적으로 교류하면서 PoC(Proof-of-Concept, 개념 증명) 과제를 발굴하기도 한다. 점심시간 카페테리아에 모여 진행되는 비공식적인 교류 활동이 종종 흥미로운 결과로 이어지기도 한다.

이 밖에도 브레인스토밍을 정기적으로 하고 있다. 최근 진행한 회의에선 오픈소스 LLVM(Low Level Virtual Machine) 프로젝트의 향후 개발과 관련된 게 안건이었는데, 약 30 여 개의 아이디어가 도출됐다. 이 중 사업 기여도가 높을 것으로 예상되는 아이디어를 선정해 내부 PoC를 진행하고 있다.

우리 연구소는 외부 세미나와 공동 워크숍도 주관해 개발 경험, 현재의 트렌드, 기술적 난제에 대한 아이디어를 공유한다. 러시아는 대학에서부터 시스템 소프트웨어 개발을 강조하기 때문에 훌륭한 시스템 프로그래머들이 많아 큰 도움이 된다.

Q: 지금 업계의 주요 트렌드는 무엇이라고 생각하나? 이러한 트렌드를 러시아 연구소에서 수행하는 연구에 어떻게 통합하고 있나?

시스템 소프트웨어는 머신러닝 기술을 응용하면서 점점 더 최적화될 것이다. 이렇게 되면 우린 복잡한 작업에 더 집중할 수 있고, 단순 작업은 줄일 수 있다. 스마트한 시스템 소프트웨어는 정보를 처리하는 데 있어 최고의 성능을 발휘할 것이다.

또한, 온디바이스 AI는 모바일 기기뿐만 아니라 웨어러블 기기도 더욱 스마트하게 만들 것으로 전망한다. 궁극적으로 모든 종류의 기기에서 AI가 광범위하게 사용될 것이고, 이들 스마트 기기를 연결하기 위해서는 5G나 Beyond 5G와 같은 고속 통신 기술이 필요하다. 이와 관련된 연구도 적극적으로 고민하고 있다.

※ 삼성리서치 인도 ‘라트나카 라오’ 연구원과의 인터뷰와 질문에 대한 답변은 5편에서 만날 수 있습니다.