뉴스룸은 삼성리서치 해외연구소 기술 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 여섯 번째이자 마지막 주자는 삼성리서치아메리카(Samsung Research America, SRA)의 브라이언 함스(Brian Harms) 연구원이다. 브라이언은 SRA에서 8년째 첨단 로봇 공학 분야를 연구하고 있다. 브라이언이 속한 팀은 로봇을 포함한 새로운 컨셉 제품과 사용성 전반에 대한 혁신을 주력으로 연구하는 곳이다. 이들의 연구와 미래 기기가 우리의 일상을 어떤 모습으로 변화시킬지 인터뷰에서 자세히 소개한다.

Q. SRA에서 어떤 연구를 주로 수행하고 있는지 소개한다면?

SRA는 삼성전자 제품 혁신 기술 개발과 더불어, 미래 준비를 위해 인공지능(AI), 5G와 6G 통신, 디지털 헬스, 증강현실(AR), 로봇 등 다양한 분야들을 연구하고 있다.

SRA에서 로봇 공학을 접하고, 이 연구가 앞으로 우리의 일상에 큰 영향을 끼칠 것이란 생각에 매력을 느꼈다. 지금은 그중에서도 사용 경험의 제품화 가능성에 대한 연구에 주력하고 있다. 특히 새로운 사용자 경험 컨셉 구현을 위해 기기나 제품이 어떻게 작동해야 하는지 결정하는 게 주된 업무라고 보면 된다.

팀원들과 함께 하는 아이디어 회의에서 다양한 협업 과정을 거쳐 유기적으로 아이디어를 더 발전시키기도 한다. 또, 여러 부서와 긴밀하게 소통하면서 사용자의 삶을 개선할 수 있는 방법을 광범위하게 들여다본다. 자유로운 분위기에서 적극적 지원을 받으며 연구할 수 있단 게 SRA의 큰 장점이다.

Q. 현재 팀이 주력하는 연구는 무엇인가?

우리 팀(Think Tank Team)은 항상 10~20여 개의 프로젝트를 동시에 진행하고 있다. 보다 빠르게 변화하는 시장의 변화에 발맞추어, ‘제품화 가능(Productizable)’ 수준을 목표로 1~3년 내의 신규 제품과 서비스 컨셉을 완성하기 위해 노력하고 있다.

로봇은 우리 일상에 보편화되기까지 시간이 필요한 분야이지만, 로봇 공학이 실용화될 수 있는 범주 안에서 여러 팀과 협업하며 시제품을 만드는 데 최선을 다하고 있다. 연구 목표는 당연히 사용자에게 높은 가치를 제공하는 것이다. 이와 동시에, 실제 사용하면서 발생 가능한 문제를 현실적 범위 내로 제한하는 부분도 충분히 고려해 균형점을 찾고 있다.

이 밖에, 사람들이 새로운 방식으로 연결될 수 있도록 새로운 앱, 모바일 기능, 디바이스 연결성 등 로봇 공학 영역 밖의 프로젝트도 일부 수행한다. 팀원들 모두가 수년 동안 해결하기 어려웠던 분야에도 혁신의 여지는 존재할 거란 긍정적 마음으로 연구에 임하고 있다.

Q. 실용적 로봇 공학은 소비자들에게 혁신적이고 편리한 사용 경험을 제공할 수 있는 분야로 알려져 있다. 관련 분야를 좀 더 자세히 설명한다면?

‘로봇’에 대한 사람들의 인식을 바꾸는 게 중요하다고 생각한다. ‘로봇이 뭐지?’라는 질문에 사람들은 각각 다른 이미지를 연상한다. 로봇에 대한 정의와 수준이 각각 다르기 때문인데, 각자 생각하는 개념이 서로 충돌하기도 하고 심지어 기기는 배제한 채 이미지만 떠올리기도 한다. 내 경우 ‘기계가 자극에 반응해 자동으로 움직인다면 그게 로봇’이라는 매우 포괄적 정의를 선호한다.

사실, 우리 주변엔 실용적 로봇이 꽤 많다. 온도 센서가 장착된 메트리스가 있다고 상상해 보자. 주변 온도가 높으면 센서가 이를 측정해 액체를 관으로 흘려 매트리스 온도를 낮추고, 사용자 환경을 시원하게 만든다면? 로봇에 대한 정의에 따르면, 이 매트리스는 로봇이다. 하지만 아마 그 매트리스 주인은 그런 생각을 해 본 적이 없을 것이다.

이 밖에, 센서를 이용해 식료품점 자동문, 차량 간 거리를 측정해 속도를 조절하는 자동차, 아침에 신선한 커피를 끓여주는 커피메이커도 로봇이다. 로봇에 대한 이런 관점을 받아들인다면 일상에서 훨씬 더 자주 로봇을 발견할 수 있다.

Q. 평소 사용하던 기기에 로봇 기능을 새로 구현한다고 가정했을 때, 소비자가 느끼는 편익은 어떻게 달라질까?

물론, 기기마다 다르고, 해결하고자 하는 문제에 따라 다르다. 하지만, 일반화해서 말한다면 사용자의 활동이나 경험을 더 쉽고, 더 안전하게, 시간 소모는 더 적고, 더 가치 있는 일에 집중할 수 있게 만들어 준다고 생각한다. 산업용 제조 공장이든 누군가의 거실이든 이 기준들에 영향을 주는 강력한 메커니즘이 바로 ‘자동화’다.

Q. 팀원들의 배경과 분야가 다채롭다. 이런 역량이 새로운 컨셉 기기 제안이나 기술 개발로 이어진 사례가 있다면 소개해 달라.

팀 초창기부터 우리만의 방식으로 브레인스토밍을 했다. 연구원 1~2명이 프로젝트 아이디어와 관련 안건을 내면 팀원들 모두가 접착 메모지를 한 묶음씩 가져와서 여기에 아이디어를 적어 벽에 계속 덧붙이는 것이다. 주목할 건, 산업 디자인에 관한 프로젝트라도 디자이너뿐만 아니라 프로그래머, 기초 과학자, 전기 엔지니어 등 모두가 함께 의견을 낸다는 점이다.

이런 방식을 통하면, 디자이너는 기술적으로 가능한 것과 그렇지 않은 걸 이해하게 되고 엔지니어는 프로젝트와 디자인이 결합했을 때 생기는 제약 사항에 대해 알게 된다. 그 결과, 기술 언어를 하는 디자이너와 디자인 언어를 하는 엔지니어로 팀이 구성될 수 있었다. 이와 같은 협업은 음식 준비를 돕는 삼성봇 셰프(Samsung Bot Chef)와 같은 프로젝트에 매우 중요한 요소인데, 보기 좋은 디자인과 기계적인 기능 모두 중요한 분야이기 때문이다.

Q. 현재 로봇 공학 기술의 최신 트렌드는 무엇인가? SRA에서 수행하는 연구와 어떻게 통합되고 있는지도 궁금하다.

기술 트렌드 면에서, 자동화와 로봇 공학은 현재 급격히 성장하고 있는 유망 분야다. 우리가 프로젝트에 접근하는 주된 방법은 우선 일상의 특정 부분을 개선할 필요가 있는지, 개선 방법이 있는지 파악하고 나서 그 아이디어를 실행할 메커니즘을 구상하는 것이다.

이러한 우리 고민의 결과물 중 하나가 미래 제품 컨셉인 ‘삼성봇 셰프(Samsung Bot Chef)’다. 당시 우리는 저비용·저성능 로봇 팔과 고비용·고성능 산업용 로봇 팔 사이의 격차가 매우 크다는 걸 인식했고, 이 둘의 중간 지점을 찾고자 노력했다. 목표는 성능과 기능을 최대화하면서 최종 비용을 최소화 할 수 있는 가능성을 모색하는 것이었다. 이를 위해 독자적인 서보 메커니즘(Servo Mechanism)을 맨 처음부터 설계했다. 그 결과 탄생한 것이 일상 생활에서 맞춤형으로 쓸 수 있는 로봇 팔 시제품인 삼성봇 셰프(Samsung Bot Chef) 였고, 이를 통해 로봇 팔의 제품화 가능성을 검증할 수 있었다.

Q. 로봇을 포함해 향후 새로운 컨셉 디바이스들의 혁신이 가져올 미래는 어떤 모습일까?

미래를 상상할 땐 ‘평범한 나의 하루는 어떤 모습일까’라고 생각해 본다. 미래에는 로봇 공학과 자동화 덕분에 내가 좋아하는 활동을 할 시간이 많아지기를 바란다. 관계 유지, 업무, 취미, 잡무를 하는 사이에 휴식하거나, 평소에는 예상치 못한 새로운 일을 할 시간이 생기는 것이다. 이 모든 활동을 균형 있게 하기에 우리에게 주어진 시간은 한정적이다. 하지만, 미래엔 자동화 메커니즘 덕분에 각자가 선택한 방식으로 시간을 절약하고 일상을 누릴 수 있을 것이라 확신한다.

Q. SRA에서 이룬 성과 중 가장 보람된 건 무엇이었나?

IFA 2019에서 삼성봇 셰프(Samsung Bot Chef) 시연을 보였던 순간이 기억에 남는다. 처음부터 직접 설계하고 제작, 조립하는 데에 엄청난 노력이 들었다. 또, 복잡한 데모 과정을 거쳐 모든 상호작용을 프로그래밍했고 테스트도 정말 여러 번 했다. 데모 로봇을 독일로 운송해, 시연할 주방 설계에 참여하고 또한 초청 셰프와 함께 작업도 했다. 정말 힘들었지만 보람찬 경험이었다. 그만큼 ‘같은 목표를 가지고 협력하면 정말 멋진 일을 해낼 수 있다’는 생각과 함께 팀이 더욱 단합될 수 있었던 계기가 됐다.

‘릴레이 인터뷰로 만나는 미래 기술’ 시리즈로 삼성리서치 6개 연구소를 대표하는 차세대 테크 리더 6인을 만나 봤다. 삼성리서치는 이번에 소개된 연구소뿐만 아니라 12개국 14개 거점의 수많은 전문 연구원과 함께 연구개발 역량을 모아 협력하고 있다.

앞으로의 세상은 협업 없이는 기술 연구가 불가능한 시대가 될 것이다. 삼성전자는 앞으로도 혁신을 향해 움직이고 일상에서 영감을 얻으며 이로써 사용자 중심의 더 나은 미래를 향한 노력을 이어갈 것이다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 다섯 번째 주자는 삼성리서치 인도 방갈로르 연구소(Samsung R&D Institute India-Bangalore, SRI-B)의 비욘드 5G(Beyond 5G) 팀장 라트나카 라오(Ratnakar Rao V R)다. 방갈로르 연구소에 합류한 지 곧 10년이 되는 그는 주로 4G, 5G와 같은 무선 통신 기술 연구에 전념해 왔다. 아래 인터뷰에서 라오와 비욘드 5G 팀이 연구하는 차세대 통신 네트워크 기술에 대해 알아보자.

Q: 시스템 소프트웨어와 마찬가지로, 통신 기술의 발전은 사용 경험을 개선하는데 핵심적 역할을 한다. 통신 분야 기술 혁신에 있어 응용 AI 연구가 어떤 역할을 하는지 궁금하다.

전통적으로 모든 이동 통신 시스템은 수학적 모델로 구현된 철저한 규칙 기반(Rule-Based) 시스템이다. 하지만 5G 시대가 열리면서 여기에 몇 가지 변화가 생겼다.

첫째, 하나의 네트워크가 여러 유스 케이스(Use Case)를 동시에 충족시켜야 하기 때문에 어떤 시스템은 전통적 모델링 기반에서는 최대 역량을 발휘하기 어려운 경우도 있다. 둘째, 연산 알고리즘과 프로세서 구조의 발달 덕분에 다양한 기기에서 AI와 머신러닝 모델을 실행하는 것이 점차 쉬워지고 있다. 셋째, 무선 네트워크가 가상화되면서 클라우드에서 실행되는 마이크로 서비스(Micro-Service)로 분할되는 추세다.

온디바이스 AI 기능이 무선 단말에 추가되는 것도 눈여겨 볼 트렌드다. 5G 이후 네트워크는 애플리케이션과 보다 긴밀히 통합될 것이기 때문에, 맞춤형 네트워크 경험을 제공하기 위해서는 네트워크가 사용자와 애플리케이션을 좀 더 잘 인식할 수 있게 만들어야 한다. 이러한 요인들로, AI와 머신러닝이 차세대 무선 네트워크와 단말에 광범위하게 적용되고 있고, 동시에 필요성도 커지고 있다.

Q: 삼성리서치 방갈로르 연구소에서 하는 일을 간략히 소개해 달라.

우리 연구소는 통신을 비롯한 카메라와 멀티미디어, 온디바이스 AI, IoT 서비스 분야를 중심으로 연구개발에 집중하고 있다. 앞서 말한 분야의 연구 단계부터 상용화까지 전 과정을 수행할 역량을 갖추고 있을 뿐만 아니라, 매년 새로운 제품·서비스 개발에도 기여하고 있다.

이 중 통신 분야는 전담 연구팀들이 있는데, 이동 통신 단말, 네트워크 RAN(Radio Access Network)/코어 개발, 무선 표준 등을 담당한다. 이 팀들의 강력한 시너지 덕분에 엔드 투 엔드(End-To-End) 방식의 도메인 기술이 완성됐다. 최근엔 비욘드 5G(Beyond 5G)와 6G 기술 리더십을 위한 선행 연구도 시작했다.

Q: 비욘드 5G 팀이 주력하고 있는 통신 연구 분야를 좀 더 자세히 소개한다면?

우리 팀은 무선(Radio), 데이터 네트워킹 프로토콜, 내장형 모뎀 시스템 소프트웨어 연구에 특화돼 있다. 이를 기반으로 전 세계 다양한 시장을 겨냥한 5G 이동 통신 단말 개발에 참여하고 있다.

통신 프로토콜 관련 첨단 연구와 개발도 우리 팀이 맡는다. 이 중에는 실제 제품에 적용된 기술도 있다. 이 외에도 비욘드 5G와 6G 시스템 관련 표준과 구현 특허(Implementation IP)를 확보하기 위한 연구도 진행 중이다.

Q: 비욘드 5G 시대에는 일상생활에서 기술을 사용하는 방식이 어떻게 바뀔 것으로 보는가?

기존 LTE망을 활용하는 비단독규격(Non-StandAlone) 5G의 출현으로 지금까지 사용되지 않던 중단파 대역의 스펙트럼이 다량 사용되기 시작했다. 이와 동시에 기존 4G가 5G와 동일한 스펙트럼을 사용할 수 있도록 대역대가 재분배(Re-farming)되면서, 초대용량 통신 시스템 시대가 더 빨리 도래하게 됐다.

사용자 입장에서는 초고화질 스트리밍, 빠른 다운로드와 업로드, 실시간 쌍방향 게임을 즐길 수 있다. 또, 동영상 스트리밍과 영상 통화를 이용할 때 혼합 현실(Mixed Reality) 경험도 가능할 것으로 본다. 규모가 커진 덕분에 더 많은 사용자가 더 많은 기기를 인터넷에 연결할 수 있고, 산간벽지에서도 인터넷을 편리하게 사용할 수 있게 된다.

5G가 발전하면 할 수록, 앞으로 수년간 ‘인포테인먼트(Infotainment)’를 비롯한 다양한 사용 경험이 생겨날 것이다. 예를 들어, IoT 기기의 저전력, 저대역폭 기능은 공공 서비스 효율을 높이고, 농업과 공장 자동화에 기여할 수 있다. 마찬가지로 인공위성 기반 5G는 전 세계에 진정한 유비쿼터스(Ubiquitous) 환경을 구현할 것으로 기대된다. 이 밖에, 5G 네트워크에 적용된 저지연(Low-Latency)성은 향후 의료와 교육 분야의 원격 서비스도 개선할 수 있다.

Q: 방갈로르 연구소에서 진행했던 과제 중 가장 보람을 느꼈던 사례를 소개해 달라.

우리 연구소는 세계 최초의 3G, 4G, 5G 스마트폰 출시에 핵심적 역할을 했다. 최근에는 5G 단독규격(StandAlone) 상용화와 5G 주파수 결합 기술(carrier aggregation)을 실현하는데도 일익을 담당했다. 이 외에도, 4G와 5G 네트워크 소프트웨어와 가상 무선접속기술(vRAN), 가상 코어망(vCore)를 개발했고, MC-PTT(Mission Critical Push to Talk) 기능 개발에도 참여했다.

우리 연구소는 특허를 내는 데도 두각을 보이고 있다. 매년 다양한 분야의 엔지니어가 백여 개의 핵심 특허를 발명하는데, 4G와 5G 부문에서 200여 개의 구현 특허와 100여 개의 표준 필수 특허를 발명하기도 했다.

Q: 삼성리서치 영국, 미국 연구소와 협업도 진행한다고 들었다. 이런 과정이 연구 전반에 큰 도움이 될 것 같다.

5G 초기 기술 개발과 실현 과정에서 한국의 삼성리서치와 긴밀히 협업했고, 지금은 초기 6G 기술 개발을 위해 함께 조율하고 있다. 마찬가지로 삼성리서치 영국과 미국 연구소와도 이런 과정을 거치고 있는데, 앞으로 많은 가능성이 열릴 것으로 확신한다.

우리 연구소엔 도메인 전문가를 비롯해 다양하고 우수한 통신 엔지니어가 포진돼 있다. 그렇기 때문에 단기간에 수준 높은 팀을 구성하고 연구를 수행하는 것이 가능하다. 다른 연구소 리더들과의 교류를 통해 다양한 가능성을 적극적으로 모색하고 있다.

Q: AI와 머신 러닝이 비욘드 5G와 6G 무선 통신 기술에 어떻게 결합돼 응용되고 있는지, 이들 기술의 결합이 진화된 모습까지 그려 본다면?

비욘드 5G와 6G의 무선 통신 기술은 AI와 머신러닝이 접목되면서 상당한 기술 발전을 이뤘다. 사실, 우리는 AI와 머신러닝 애플리케이션이 폭넓게 사용될 것으로 예상하고 해당 분야 연구에 적극 매진해 왔다.

예를 들어, △단말이나 네트워크에 특정 블록을 추가해 성능을 개선하고 연산 과정도 줄이는 블록 레벨(Block-Level) AI, △엔드 투 엔드 시스템에서 둘 이상의 개체(Entity)가 정보를 교환할 때 AI와 머신러닝 기술을 사용해 모빌리티 성능을 높이는 절차적(Procedural) AI, △차세대 통신 시스템에서 변동성이 큰 시스템 자원을 최적으로 운용할 수 있도록 지원하는 시스템 소프트웨어 AI가 그것이다.

Q: 전기전자학회(Institute of Electrical and Electronics Engineers, IEEE)의 선임 위원으로 어떤 활동을 하고 있는지 소개 부탁드린다.

선임 위원(Senior member) 자격으로 지역 공과대학의 학생 커뮤니티와 교수진을 대상으로 강연도 하고 소통도 한다. 목적은 가능한 많은 사람들이 전공에 대해 더 잘 알고 통신 분야의 첨단 연구를 수행하게끔 돕기 위해서다. 또, 공공기관이나 관련 업계가 주최하는 대담과 토론에도 참여한다. 이런 교류 덕분에 최신 트렌드를 빨리 파악할 수 있고, 저명한 대학의 인재들과 새로운 협업도 시도할 수 있다.

물론, 팀원들에게도 저명한 학술회의와 학술지에 연구 성과를 발표해 보길 권한다. 그 결과 최근 2년간 우리 팀이 여러 저명한 포럼에서 20여 개의 논문을 발표하는 성과를 얻었다.

※ 삼성리서치 미국 ‘브라이언 함스’ 연구원과의 인터뷰와 질문에 대한 답변은 6편에서 만날 수 있습니다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 네 번째 주자는 삼성전자 러시아 연구소(Samsung R&D Institute Russia, SRR)의 선행 시스템 소프트웨어(Advanced System Software) 랩장 예브게니 파블로프(Evgeny Pavlov)다. 지난해부터 랩을 이끌고 있는 예브게니는 지난 9년간 러시아 연구소에서 프로그램 분석의 첨단 기법을 연구해왔다.

시스템 소프트웨어(SW)는 응용 소프트웨어를 실행할 수 있는 플랫폼을 제공하기 위해 설계된 소프트웨어다. 다시 말해 응용 소프트웨어와 하드웨어를 연결해 주는 다리 역할을 한다. 스마트폰, AI 기반 앱의 프레임워크, 시스템 서비스, 개발자용 도구(SDK) 등에 사용되는 운영체제(Operating System, OS)가 그 예다. 시스템 소프트웨어는 해당 컴퓨터 시스템의 일부를 구성하는 응용 소프트웨어와 상호 통신하며 하드웨어를 작동하고 통제, 관리할 수 있도록 설계돼 있다. 즉, 우리가 모바일 기기로 즐기는 앱 또는 서비스의 기반이 되는 하드웨어와 소프트웨어의 조합이라 할 수 있다. 시스템 소프트웨어 연구에 대한 자세한 내용은 예브게니와의 일문일답으로 정리했다.

Q: AI와 머신러닝 연구는 모든 종류의 기술을 설계하고 최적화하는 데 매우 중요하다. 시스템 소프트웨어 연구는 이런 기술을 활성화하는 데 있어 어떤 역할을 수행하나?

시스템 소프트웨어 연구는 사용자들의 눈에 보이지는 않지만, 머신러닝에서 매우 중요한 역할을 한다. 머신러닝 프레임워크를 최적으로 실행시키려면 다양한 하드웨어 기능을 고려해야 하는데, 여기서 시스템 소프트웨어의 역할은 필수적이다.

AI 업계의 최신 트렌드는 신경망 가속(Neural Network Acceleration)에 특화된 처리 장치를 통합하는 것이다. 최근 몇 년간 많은 기업이 인간의 신경망과 유사한 방식으로 연산 기능을 수행하는 신경망처리장치(Neural Processor Unit, NPU) 개발에 힘쓰고 있다. 그 결과, 우리는 다양한 AI 기반 기술을 스마트폰에서 사용할 수 있게 됐다.

여기서 중요한 것은 주어진 신경망 모델을 해당 NPU가 이해할 수 있는 일련의 명령으로 변환해 머신러닝 모델을 최적화 시키는 작업이다. 이 과정을 신경망 컴파일러(Neural Network Complier)가 자동으로 수행하는데, 이때 컴퓨터 하드웨어에 대한 이해도가 높은 시스템 소프트웨어 개발자의 역할이 매우 중요하다.

다시 말해, 최근 AI 트렌드로 인해 시스템 소프트웨어 엔지니어의 주력 분야가 범용 프로그램의 최적화에서 AI와 머신러닝 기반 프로그램의 최적화까지 확장되고 있다고 볼 수 있다.

Q: 러시아 연구소를 간략히 소개한다면?

러시아 연구소는 센서 솔루션(Sensor Solution), AI 이미징(AI Imaging), 시스템 소프트웨어, 이 세 분야를 집중 연구하고 있다.

특히, 생체 인증과 라이프 케어(Life Care) 분야에서 하드웨어와 알고리즘 개발, 솔루션 상용화를 포함하는 센서 연구의 전 과정에 걸친 경험을 보유하고 있고 스마트폰의 홍채·얼굴·지문 인식, 스마트워치의 체성분 분석 개발 등에 기여 해왔다. AI 이미징 분야에서는 AI와 광학 분야의 시너지로 스마트폰 카메라의 ‘슈퍼 슬로우 모션’이나 ‘야간 모드’ 개발에도 참여했다.

마지막으로 가장 유망한 분야 중 하나는 시스템 소프트웨어다. 다양한 하드웨어와 OS에 대한 깊은 이해 그리고 막강한 엔지니어를 바탕으로 다양한 제품과 서비스를 위한 시스템 소프트웨어 핵심 기술을 제공하기 위해 최선을 다하고 있다.

Q: 현재 주력 연구 분야를 소개해달라.

우리 랩은 강점 역량인 컴파일러 기술을 기반으로, 전통적인 시스템 소프트웨어 기법 연구뿐만 아니라 이를 대체할 최신 시스템 소프트웨어 개발을 위한 기법도 병행해 연구하고 있다.

주요 연구 분야는 주력 제품을 차별화하고 기능을 고도화하기 위한 안드로이드(Android)와 타이젠(Tizen) 전용 컴파일러 기술, 5G 기술의 확장성을 높이기 위한 vRAN(virtualized Radio Access Network) 기술, 온디바이스 AI 플랫폼을 위한 NPU 기술과 온디바이스 AI 소프트웨어 개발을 위한 SDK 개발 등이다.

또한, 삼성리서치 온디바이스랩과 협업해 ‘ONE(On-Device Neural Engine)’이라는 온디바이스 AI 플랫폼을 위한 오픈소스 프로젝트 추진 등 시스템 소프트웨어와 관련된 오픈소스 활동도 하고 있다.

Q: 온디바이스 AI와 시스템 소프트웨어 기술은 강력하고 혁신적인 모바일 경험을 위한 필수조건이다. 이런 측면에서 러시아 연구소의 시스템 소프트웨어 연구 방향이 궁금하다.

시스템 소프트웨어는 앱 운용과 사용자 경험에 핵심적인 역할을 한다. 시스템 소프트웨어는 하드웨어와 앱을 연결해주는 하위 계층(Layer)으로 모든 소프트웨어의 근간이다. 사용자는 스마트폰에서 앱을 사용할 때 인터페이스만을 보지만, 시스템 소프트웨어는 보이지 않는 앱의 하단에서 여러 계층에 걸쳐 있는 프로그램 로직을 처리하며 많은 역할을 수행한다.

예를 들어 사용자가 스마트폰 화면을 터치한다고 가정해 보자. 이 간단한 동작 하나에도 사용자의 터치를 시스템 커널(Kernel)에서 인식하게 하고, 그래픽 라이브러리로 해당 창(Window)을 열도록 하는 등의 단계가 필요하다. 이 단계 중 어느 하나라도 지연이 발생할 경우 시스템 전체의 성능과 사용자 경험에 영향을 줄 수 있다. 따라서 최대 성능을 내면서도 메모리 사용량과 지연(latency)을 최적화하는 시스템 소프트웨어의 역할이 중요하다.

또한, 하드웨어 가속기(Accelerator)와 모바일 기기의 결합은 AI 기반 앱 개발에 크게 영향을 주고 있다. 우리에게 익숙한 스마트폰 이미지 화질 개선, 지문이나 홍채 등 생체 인증을 활용한 잠금 해제, 키보드 자동 완성 등과 같은 AI 기반 기능을 가능케 한 것이다. 향후 가속기 개발이 진전될수록 모바일 기기는 더 스마트해지고 사용하기 쉬워질 것이며, SF 영화에서나 꿈꾸던 AI 앱도 현실화될 것이다.

이 외에도, 시스템 소프트웨어는 AI 기반 기술을 사용함으로써 맞춤형 모바일 경험에도 기여한다. 예를 들어 사용자의 위치, 현재 활동 상황, 기기 사용 패턴에 따른 맞춤형 설정을 제공할 수 있다. 우리 연구소는 온디바이스 AI 기술을 활용해 시스템 소프트웨어를 개선하는 연구를 활발히 진행하고 있다.

Q: 온디바이스 AI 기술을 모바일 기기에 통합해 얻을 수 있는 이점에는 어떤 것이 있나?

AI 기반 앱의 인기가 높아지면서 온디바이스 AI도 더 주목을 받고 있다. 기존에는 AI 기반 앱을 실행하려면 복잡한 연산 수행이 가능한 고성능 클라우드 서버가 필요했다. 하지만 모바일 프로세서 성능이 높아지고 전용 하드웨어 가속기가 통합되면서, 이러한 앱이 서버가 아닌 모바일 기기에서 직접 실행되도록 개발할 수 있다.

AI 앱에 사용되는 신경망이 기기 안에서 실행될 경우 사용자 입장에선 장점이 많다. 첫째, 데이터를 서버로 보내고 결과를 기다릴 필요가 없어 불필요한 응답 지연 시간을 줄일 수 있다. 둘째, 모든 처리가 기기 안에서 이뤄지기 때문에 개인정보 보호에도 기여한다. 마지막으로 인터넷 연결 없이도 앱을 실행할 수 있다.

▲ 삼성전자 러시아 연구소(Samsung R&D Institute Russia, SRR) 연구원들

Q: 새로운 아이디어 발굴을 위해 다른 랩이나 학계와 협업이 중요할 것 같다.

연구소 자체적으로 관련 분야의 최신 트렌드를 모니터링하고, 내부 세미나에서 개발 경험을 공유하며, 다른 연구팀과 적극적으로 교류하면서 PoC(Proof-of-Concept, 개념 증명) 과제를 발굴하기도 한다. 점심시간 카페테리아에 모여 진행되는 비공식적인 교류 활동이 종종 흥미로운 결과로 이어지기도 한다.

이 밖에도 브레인스토밍을 정기적으로 하고 있다. 최근 진행한 회의에선 오픈소스 LLVM(Low Level Virtual Machine) 프로젝트의 향후 개발과 관련된 게 안건이었는데, 약 30 여 개의 아이디어가 도출됐다. 이 중 사업 기여도가 높을 것으로 예상되는 아이디어를 선정해 내부 PoC를 진행하고 있다.

우리 연구소는 외부 세미나와 공동 워크숍도 주관해 개발 경험, 현재의 트렌드, 기술적 난제에 대한 아이디어를 공유한다. 러시아는 대학에서부터 시스템 소프트웨어 개발을 강조하기 때문에 훌륭한 시스템 프로그래머들이 많아 큰 도움이 된다.

Q: 지금 업계의 주요 트렌드는 무엇이라고 생각하나? 이러한 트렌드를 러시아 연구소에서 수행하는 연구에 어떻게 통합하고 있나?

시스템 소프트웨어는 머신러닝 기술을 응용하면서 점점 더 최적화될 것이다. 이렇게 되면 우린 복잡한 작업에 더 집중할 수 있고, 단순 작업은 줄일 수 있다. 스마트한 시스템 소프트웨어는 정보를 처리하는 데 있어 최고의 성능을 발휘할 것이다.

또한, 온디바이스 AI는 모바일 기기뿐만 아니라 웨어러블 기기도 더욱 스마트하게 만들 것으로 전망한다. 궁극적으로 모든 종류의 기기에서 AI가 광범위하게 사용될 것이고, 이들 스마트 기기를 연결하기 위해서는 5G나 Beyond 5G와 같은 고속 통신 기술이 필요하다. 이와 관련된 연구도 적극적으로 고민하고 있다.

※ 삼성리서치 인도 ‘라트나카 라오’ 연구원과의 인터뷰와 질문에 대한 답변은 5편에서 만날 수 있습니다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰에서 소개할 세 번째 전문가는 삼성전자 중국 베이징 연구소(Samsung R&D Institute China–Beijing, SRC-B)의 인공지능(AI) 랩 엔지니어 빈 다이(Bin Dai)이다. 빈은 2020년에 베이징 연구소에 합류해, 네트워크 압축(Network Compression)과 온 디바이스(On-Device) 모델 설계에 대한 연구를 활발히 이어오고 있다. 빈이 근무하고 있는 AI 랩에 대해 아래 일문일답으로 자세히 소개한다.

Q: 자연어 처리와 청각 지능을 포함한 AI 기술은 혁신을 거듭하고 있는 최첨단 연구 분야다. 이러한 혁신 속에서 머신러닝은 어떤 역할을 하나?

머신러닝은 모든 종류의 기술을 사용자에게 직접 전달하는 데 필수적인 역할을 한다. 컴퓨터 비전과 음성 언어 인식은 현재 AI를 활용하는 가장 성공적인 분야지만, 기존 AI 알고리즘은 막대한 연산 자원을 요구하기 때문에 모바일 기기에 탑재하기 어렵다는 한계도 있다. 이러한 문제를 해결하기 위해, 우리 연구소에서는 머신러닝을 활용해 강력한 성능을 내는 경량화 모델을 연구하고 있다. 이는 AI에 기반을 둔 모든 기술의 혁신에 기여할 것으로 본다.

Q: 베이징 연구소에 대해 소개 부탁한다.

베이징 연구소는 2000년 최초로 설립된 중국 내 삼성전자 연구소다. 우리 연구소는 머신러닝, 컴퓨터 비전, 언어 처리, 음성 지능 같은 AI 연구와 3GPP 표준화 등의 차세대 통신 연구에 특화돼 있다. 2019년 4월, 머신러닝에 대한 근본적 연구를 위해 인공지능 랩을 설립했고, 연구 성과를 삼성전자 제품에 적용하기 위해 노력하고 있다. 이 외에도, 긴밀한 현지 산학 협력도 이어가고 있다.

Q: 맡고 있는 주요 연구 과제에 대해 소개해달라.

우리의 연구 목표는 기존 AI 알고리즘의 연산 복잡도와 리소스를 줄이면서도 정확도를 높이기 위한 최적의 방법을 찾는 것이다. 이를 위해, 데이터가 적은 상황에서도 보다 정확한 예측을 가능케 하는 머신러닝 연구인 ‘등변 네트워크(Equivariant Network)’와 ‘동적 추론(Dynamic Inference)’을 소개하겠다.

등변 네트워크는 기하학적 구조를 활용하는 딥러닝(Geometric Deep Learning) 분야 중 하나다. 컴퓨터 비전 데이터셋에는 이미지뿐만 아니라 사람의 눈처럼 거리까지 측정해내는 LiDAR 포인트 클라우드(LiDAR Point Cloud)를 비롯, 여러 종류의 대칭성(Symmetry)을 가지는 특성이 존재한다. 등변 네트워크를 사용하면, 이러한 대칭성을 고려해 네트워크를 설계할 수 있다. 특히 데이터셋의 본질적 구조를 생각했기 때문에, 결과적으로 적은 컴퓨팅 자원과 데이터로도 좋은 성능을 내는 것이 가능하다.

동적 추론 (Dynamic inference)도 매우 흥미로운 연구 중 하나다. 모든 데이터 샘플에 고정 아키텍처를 사용하는 전통적 방법과 달리, 동적 추론은 각 데이터 샘플에 얼마나 많은 자원을 사용할지 유동적으로 결정할 수 있다. 때문에, 단순한 샘플에는 적은 연산 자원을 사용하고, 어려운 샘플에는 더 많은 자원을 사용해, 평균 연산 자원을 크게 줄일 수 있다.

Q: 컴퓨터 비전에서 음성언어 인식에 이르기까지 AI가 어떻게 사용자 응용 분야에 기여 했는지 궁금하다. 모바일 경험 최적화를 위해 인공지능 랩에서 수행하고 있는 연구 방향도 설명해달라.

우리는 대량의 데이터 속에서 살고 있다. 데이터가 있는 곳에 지식도 있다. AI 알고리즘은 데이터 속 숨은 지식을 찾아내고, 그 지식을 활용해 우리 삶을 편리하게 해주는 최고의 도구가 되어 준다.

베이징 연구소는 입력된 정보들을 자동으로 필터링하여 필요한 부분만을 남기는 ‘정보 병목 현상 이론 (Information Bottleneck Theory)’에 기반한 네트워크 압축 알고리즘을 개발했다. 이는 동영상 인식, 이미지 분할, 기계 번역 등 다양한 작업에 응용돼 왔다.

이 외에도, 인공 신경 구조망 설계를 자동화하는 신경 구조망 탐색(Neural Architecture Search, NAS)과 다양한 디바이스 환경에 최적화된 모델을 자동 생성하는 OFA(Once-For-All) 솔루션을 비롯해, 더 강력한 AI 알고리즘을 개발하기 위해 다른 랩들과 적극적으로 협업을 이어나가고 있다.

Q: 모바일 기반 기술을 머신 러닝 기반 AI 기술과 통합한다면, 사용자는 어떤 편리함을 누릴 수 있나?

크게 세 가지로 말할 수 있다. 첫 번째는 AI 기술만이 제공할 수 있는 편리한 기능들이 있다. 예를 들어, 모바일 기기의 ‘자동 질문 대답 시스템’은 AI 알고리즘이 있어야만 가능하다. 전통적 방식에서는 매우 제한적인, 정해진 질문만 처리할 수 있다.

두 번째는, 전통적 기술을 사용할 때에 비해 향상된 애플리케이션의 성능을 누릴 수 있다. 예를 들어, 카메라의 뉴럴 이미지 신호 처리(Neural Image Signal Processing) 기능에 딥 뉴럴 네트워크(Deep Neural Network)를 적용하면 훨씬 더 좋은 사진을 얻을 수 있다.

세 번째는, 사용자들도 미처 깨닫지 못했던 사용자 맞춤 서비스를 제공할 수 있다. AI는 사용자의 취향을 토대로 ‘사용자 특화 소프트웨어 개발’을 가능케 하고, 이를 통해 사용자들이 더 편리하게 기기를 사용할 수 있게 지속적으로 돕는다.

▲ 삼성전자 중국 베이징 연구소(Samsung R&D Institute China – Beijing, SRC-B) 연구원들

Q: 베이징 연구소 내 다른 팀, 더 나아가 전 세계 다른 연구소와의 협업은 어떤 시너지를 내나? 또, 사용자의 삶을 더 편리하게 만들기 위해 어떤 연구들이 이뤄지는지도 궁금하다.

우리 인공지능 랩은 베이징 연구소 내 다른 팀들과 협업하고 있다. 최근에는 비주얼 컴퓨팅(Visual Computing) 팀과 협업했다. 동영상 인식 작업, 이미지 내 인물을 인식하고 배경과 분리하는 인체 분할(Human Segmentation) 작업에 ‘병목 현상 기반 압축 알고리즘’을 적용하는 프로젝트였다. 그 결과, 성능 저하 없이 모델 크기를 현저하게 줄이는 성과를 얻었다. 2021년에는 이 솔루션을 가지고 단일팀으로 ‘컴퓨터 비전과 패턴 인식 콘퍼런스(Conference on Computer Vision and Pattern Recognition, CVPR)’의 ’신경구조망 탐색(NAS) 대회’에 참가해 우승도 거뒀다.

언어 지능(Language Intelligence) 팀의 기계 번역 모델을 압축하기 위한 협업도 진행 중이다. 연구 성과가 나온다면 모델의 상용화를 앞당길 수 있다. 전 세계 AI 센터와 더 많이 소통하고 협업한다면 더 좋은 연구와 응용 성과를 낼 수 있다고 확신한다.

Q: 현재 업계의 주요 트렌드는 무엇인가? 이러한 트렌드를 삼성전자 중국 베이징 연구소에서 수행하고 있는 연구에 어떻게 통합하고 있는지도 궁금하다.

현재 업계에서는 효율적 네트워크 아키텍처 설계(Efficient Network Architecture Design), 자기 감독 학습(Self-supervised Learning), 그래프 신경망(Graph Neural Network) 등 다양한 기술이 논의되고 있다. 우리 연구소는 그중 ‘네트워크 압축’과 ‘경량화 모델 설계’에 주력하고 있다. 이는 모바일 기기 앱에 큰 영향을 미치는 기술이다. 매우 제한적인 연산 자원을 가진 모바일 기기에는 다양한 서비스를 제공할 수 있는 대형 모델을 탑재하기 어렵다. 때문에, 이러한 기기에 적합한 모델을 설계하는 데에 집중하고 있다.

이처럼 모바일에 어울리는 가볍고도 강력한 모델을 개발하기 위해서 다양한 방법론이 논의되고 있다. 우리 연구소 외에도 업계의 다양한 분야에서 이 목적을 달성하기 위해 네트워크 프루닝(Network Pruning), 모델 양자화(Quantization), 지식 증류(Knowledge Distillation), 신경망 아키텍처 검색(Neural Network Architecture Search), 동적 추론(Dynamic Inference) 등의 분야를 활발히 연구 중이다.

Q: 가장 자랑스럽게 여기는 성과를 소개해달라.

커뮤니케이션 연구팀과 협업해 무선통신용 AI 알고리즘을 개발했다. 해당 솔루션으로 올해 ‘무선통신 AI 경진대회(Wireless Communication AI Competition, WAIC)’에서 우승도 거뒀다. 중국 정보통신기술연구원(China Academy of Information and Communication Technology, CAICT)에서 주최한 대회인데, 전 세계 600여 개 팀이 참여하는 5G, AI 경진대회다.

개인적으로 매우 자랑스럽기도 했고, AI와 결합한 5G가 잠재력이 큰 연구 방향임을 입증한 거 같아 기분이 좋았다.

※ 삼성리서치 러시아 ‘예브게니 파블로프’ 연구원과의 인터뷰와 질문에 대한 답변은 4편에서 만날 수 있습니다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶을 위해 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 두 번째 주자는 삼성전자 폴란드 연구소(Samsung R&D Institute Poland, SRPOL)의 인공지능(Artificial Intelligence, AI)팀장 우카쉬 스와빈스키(Lukasz Slabinski)다. 2013년 선임 엔지니어로 폴란드 연구소에 합류한 그는 현재 인공지능 팀을 이끌며 AI에 관련된 다양한 연구를 진행하고 있다. 아래를 통해 우카쉬와 나눈 대화를 소개한다.

Q. 음성 인식은 다른 인식보다 특히 더 복잡한 분야로 알고 있다. 이로 인해 생기는 어려움을 어떻게 극복하고 성과를 내고 있는지 궁금하다.

언어와 관련된 기술이 복잡한 이유는 문화적, 지역적 특성에 따라 다양한 억양, 방언 등으로 진화된 약 7,000여개의 수많은 언어가 존재하기 때문이다. 음성 언어로 의사소통할 때, 말하는 사람은 한 뭉치의 소리로 생각을 전달하고, 듣는 사람들은 이를 해석하는데, 이 과정에서는 개인적, 창조적인 해석이 가능하다. 이러한 과정 덕분에 아름다운 시, 재미있는 농담 등이 존재하는 한편, 대화 중 오해가 생기기도 하는 것이다. 따라서, 음성 언어 기반의 의사소통은 시각 지능 등 다른 인식 보다 수학적으로 설명하기 모호하고 어렵다.

일상생활에서 우리는 가족이나 직장 동료 등 가까운 사이에도 명확한 의사소통이 어려운 경우를 종종 경험할 때가 있다. 그렇다면 자연어 처리를 연구하는 개발자들은 어떻게 수십 개의 다른 언어들을 위한 기계 번역 시스템을 설계할 수 있을까? 이를 가능하게 하는 것은 바로 ‘기계 학습’이다.

트레이닝 또는 학습이라고 불리는 과정을 통해 우리는 많은 데이터들로부터 뽑은 예제에서 일반적인 패턴을 자동 추출하고 모델 형태로 정리한다. 기계 번역 시스템 구축을 예로 들어보자. 우리는 정교하게 수집, 정제된 수백만 개 사례들을 바탕으로 다른 언어의 문장들을 패턴화하기 위해 신경 네트워크를 학습시킨다. 이 복잡하고 어려운 과정에는 해결해야 할 세 가지 근본적인 과제들이 있다.

△주어진 문제에 대한 충분한 언어 패턴을 기록하고 일반화할 수 있는 기계학습 모델 구조 설계, △충분한 학습 데이터 베이스 확보, △이미 학습된 모델을 클라우드 또는 온 디바이스와 같은 전용 플랫폼에 적용하기 위해 최적화하는 것이 그것이다.

우리는 최고 수준의 전문가, 데이터 확보를 위한 다양한 접근, 그리고 끝없는 혁신과 연구를 통해 이를 해결해나가고 있다.

Q: 폴란드 연구소에 대해 간략히 소개해 달라.

폴란드 내 최대 규모의 소프트웨어 연구소 중 하나인 우리 연구소는 수도인 바르샤바(Warsaw)와 문화, 기술의 중심지인 크라코프(Cracow), 두 곳에 위치하고 있으며, 현지 우수 대학, 연구 기관 등과의 긴밀한 협력을 통해 다양한 분야의 기술을 선도하고 있다.

폴란드 연구소와 인공지능 팀은 고객의 삶을 편리하고 풍요롭게 하는 AI 기반 기능, 도구, 서비스를 연구하고 개발하는 일을 하고 있다. 또한 자연어 처리와 청각 지능(Audio Intelligence) 분야에 집중하고 있으며 이 외에도 추천 시스템, 실내 측위 (Indoor Positioning), 시각 분석, AR (Augmented Reality, 증강 현실)에도 전문 기술을 보유하고 있다.

Q: 2018년부터 폴란드 연구소의 인공지능 팀을 이끌어 오면서 자연어 처리에 관련된 프로젝트와 그 외 분야에 관련한 프로젝트를 여럿 총괄해왔다. 현재 인공지능 팀이 하고 있는 일은 무엇인지?

지난 몇 년간, 인공지능 팀은 혁신적이면서도 도전적인 수많은 프로젝트들을 수행했다.

자연어 처리 분야 관련해서는 기계 번역, 질의응답을 포함한 대화 시스템, 텍스트 분석과 같은 시스템 개발을 10여 년째 수행해오고 있다. 크게, △많은 사용자들이 동시에 접속하여 서비스를 받을 수 있는 클라우드 기반 솔루션과 △통신 네트워크 연결 없이도 서비스를 제공할 수 있는 온 디바이스 솔루션, 이 두 가지 측면에서 연구 개발을 진행 중이다.

청각 지능은 최근 중요성이 대두되고 있어, 수년 전부터 폴란드 연구소의 연구 역량을 집중하고 있는 분야다. 소리 인식과 분석, 음원 분리, 음질 향상을 연구한다. 소리 분석을 통한 주변 상황 이해부터 무선 이어폰 같이 하드웨어 자원이 매우 제한적인 기기의 내장 오디오 알고리즘 개발까지 오디오 신호 처리에 관련된 모든 단계의 연구를 수행하고 있다.

Q: 폴란드 인공지능 팀이 연구하고 있는 자연어 처리, 텍스트와 데이터 마이닝, 청각 지능 분야는 사용자의 일상 변화에 어떤 기여를 하고 있나.

폴란드 연구소는 한국의 연구팀을 포함한 다른 연구소들과의 긴밀한 협업을 통해 제품, 기술 상용화에 오랜 시간 동안 기여해왔다.

대표적인 예가 사용자들의 모바일 기기 텍스트 입력을 보다 편리하게 돕는 ‘지능형 텍스트 입력 기능 개발’이다. 온 스크린 키보드에서의 단어 추천과 맞춤법 교정, 해시태그 추천 기능, 삼성 노트 앱의 제목 추천, 스마트 워치의 스마트한 텍스트 입력과 같은 기능을 구현했다.

아울러, 삼성전자 스마트폰 사용자의 선호도를 분석하여 게임을 추천하는 시스템을 개발, 갤럭시 스토어에 탑재했다.

또, 삼성 ‘제트 봇 AI(JetBot AI)’의 펫 케어 솔루션을 위한 핵심 기능 중 하나인 반려견 짖음 소리 감지에도 기여했다. 이 외에도, 삼성전자 제품 전반에 걸쳐서 AI 기반의 여러 소리 인식 기술을 개발했다.

Q: 현재 주목하고 있는 업계의 주요 트렌드는 무엇인가? 이 기술이 사람들의 일상생활에 어떤 영향을 미칠지 궁금하다.

청각 지능은 소리 인식과 분석, 음원 분리, 음질 개선 등을 연구하는 분야다. 앞으로 전자 제품과 사용자 간 상호작용을 혁신하는 ‘게임 체인저’가 될 거라 예상한다. 청각 지능 본연의 기술 연구도 중요하지만, 혁신적인 솔루션을 제공하기 위해선 인간 중심의, 진화된 청각 지능 기반 시스템 연구가 무엇보다 중요하다고 생각한다.

자연어 처리 시스템은 말과 글로 표현된 사용자의 의도를 분석하고, 컴퓨터 비전 알고리즘은 카메라와 시각적 콘텐츠로 이뤄진 결과물을 분석한다. 오늘날 대부분의 사람들에게 내비게이션 없이 운전하거나, 맞춤법 교정 기능 없이 메시지를 입력하는 것, 인터넷 없이 정보를 검색하는 것은 상상하기 힘든 일이다. 청각 지능 기술도 이처럼 조만간 보편적으로 사용될 것으로 전망한다.

사람들이 무엇을, 어떻게 들을지 선택하게 해주는 기술이 있다고 상상해 보자. 예를 들어, 도심 속 공원에서 친구와 점심을 먹을 때, 자연의 소리와 상대방의 말소리만을 선택적으로 들을 수 있을 것이다. 혹은 최근 주목받고 있는 메타버스(Metaverse)라고 불리는 첨단 VR, AR 시스템을 생각해보자. 이 두 가지 개념만으로도 수백 가지의 새로운 유스 케이스(Use Case)를 만들어 낼 수 있다.

인간은 다양한 소리 중 좁은 영역의 소리만을 들을 수 있다. 우리의 세상은 유의미한 소리로 가득 차 있지만, 대부분은 현재의 AI 기술이 진입하지 않고 있다. 청각 지능 기술의 발전과 함께 열리는 새로운 ‘소리 세상’이 사람들의 삶을 크게 변화시킬 거라고 믿는다.

▲ 음향측정을 위한 무향실에서 HATS(Head & Torso Simulator)를 통해 액티브 노이즈 캔슬링(ANC, Active Noise Cancellation) 기술을 연구하고 있는 삼성전자 폴란드 연구소(Samsung R&D Institute Poland) 연구원들

Q: 폴란드 연구소에서 보는 요즘 기술 트렌드가 무엇인지 궁금하다.

자연어 처리와 같은 전통적 연구와 더불어, 시각, 청각 등 다중 감각, 즉 감각을 통합적으로 이용해 사람과 같은 인지적 특성을 가지는 ‘진정한 다중양식(Multimodal) 시스템’을 구축하기 위한 가장 효과적인 방법을 모색하고 있다. 이를 위해 분야별 전문 엔지니어, 언어학자, 데이터 과학자, 그 외 여러 분야의 연구원들로 팀을 구성, 다양한 관점에서 연구하며 유스 케이스를 분석하고 있다.

Q: 폴란드 연구소에서 이룬 성과 중, 가장 기억에 남는 성과는 무엇인지?

‘기계 번역 솔루션’을 꼽고 싶다. 2017년부터 2020년까지 4년 연속 ‘음성 언어 번역 국제 워크숍(International Workshop on Spoken Language Translation, IWSLT)’에서 우승했고, 2020년에는 ‘기계 번역 워크숍(Workshop on Machine Translation, WMT)’, 2021년에는 ‘아시아 번역 워크숍(Workshop on Asian Translation, WAT)’ 등 다양한 대회에서 우승을 거뒀다. 모두 기계 번역 분야에서 유명한 국제 대회들이다.

특히, 아시아 번역 워크숍은 아시아 언어에 대한 이해도나 개발 경험이 없는 폴란드 엔지니어가 솔루션을 개발하는 과정이었기 때문에 그 어떤 언어 확장보다 도전적이었다. 우승이라는 성과를 넘어, 폴란드 연구소의 기술 리더십을 입증한 결과라 더욱 자랑스럽다.

또한 짧은 시간에 커다란 성장을 이룬 청각 지능팀의 성과도 빼놓을 수 없다. 아무것도 없는 상태로 시작해, 2019년과 2020년에는 2년 연속 ‘청각 장면과 사건의 감지와 분류(Detection and Classification of Acoustic Scenes and Events)’ 워크숍에서 연단에 섰다. 이 외에도 과학 학술지를 통해 연구 발표도 하고 특허도 작성하는 등 다양한 활동을 하고 있다. 앞으로 추진해 나갈 활동에 든든한 밑거름이 될 거 같다.

삼성전자 중국 베이징 연구소의 ‘빈 다이’ 연구원의 인터뷰와 질문에 대한 답변은 3편에서 만날 수 있습니다.

삼성전자는 사용자들이 보다 편리한 삶을 누릴 수 있도록, 기술 경쟁력을 강화하고 선행 기술을 확보하기 위해 다양한 노력을 기울이고 있다. 그 노력의 중심에 CE(Consumer Electronics) 부문과 IM(IT & Mobile Communications) 부문 선행연구개발 조직인 ‘삼성리서치’가 있다. 삼성리서치는 전세계 12개국에 위치한 R&D 센터 14곳, 글로벌 AI 센터 7곳과 함께 사용자 중심의 혁신 기술을 연구하며 미래를 준비하고 있다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶에 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 첫 번째 주자는 삼성전자 우크라이나 연구소(Samsung R&D Institute Ukraine)의 시각 지능(Visual Intelligence) 팀장 세르게이 리트비넨코(Sergii Lytvynenko)다. 아래는 소프트웨어 엔지니어로 입사해 10여년 이상 시각 지능 기술을 연구해온 전문가, 세르게이와의 일문일답이다.

Q: 우크라이나 연구소는 어떤 곳인가?

우크라이나의 심장부인 키이브(Kyiv)에 위치한 우리 연구소는 2009년 설립 초창기부터 AI, Augmented Reality (AR, 증강현실)/Virtual Reality(VR, 가상현실), 보안 분야 선행 기술 연구에 집중해왔다. 유수의 전문가들이 보안 기술, 컴퓨터 비전 등의 연구에 몰두하고 있고, 현지 대학과 산학 협력도 활발히 진행하고 있다.

Q: 시각 지능팀에서는 주로 어떤 연구를 하는가?

AI, 컴퓨터 비전, 컴퓨터 그래픽 분야에 대한 연구를 하고 있다. 연구 성과를 총체적인 사용자 경험으로 변환해서, 종래엔 사람들의 삶의 질을 개선하는 게 주요 업무라고 보면 된다. 물론, 여기에는 일상을 쉽고 간편하게 만드는 것과 사용자에게 긍정적 감정, 몰입 경험을 전달하는 것도 포함된다. 또, 이런 선행 연구가 삼성전자의 다양한 제품에 반영될 수 있도록 여러 팀과 협업도 하고 있다.

Q: 컴퓨터 비전과 컴퓨터 그래픽, 이 두 기술이 새로운 사용 경험에 기여했던 사례를 소개해 달라.

지난 해 ‘스마트 트레이너(Smart Trainer)’라는 새로운 차원의 홈 트레이닝 솔루션 연구를 수행했다. 이 시스템은 스마트 TV에 연결된 USB 카메라로 사용자의 동작을 읽고 사용자가 실시한 운동을 기록하며 자세 정확도까지 알려줄 수 있다. 모두 AI 기술로 가능한 서비스다.

Q: AR 글래스와 같은 증강현실 기술과 관련한 연구도 진행 중인지 궁금하다.

컴퓨터 비전과 컴퓨터 그래픽 기술을 AR 글래스에 적용할 때 풀어야 할 숙제가 아직 많다. 우리 팀에선 주로 난제 해결 방법을 연구하고 있다.

사람의 눈과 같은 기능을 연구하는 컴퓨터 비전 분야는 카메라, 스캐너 등에 투입된 시각 정보에서 유용한 정보를 생성하는 기술이다. 구체적인 주 연구 분야로는 SLAM(Simultaneous Localization and Mapping)^[1], 깊이 측정(Depth Estimation), 주위 환경 이해(Environment Understanding), 인간과 컴퓨터간 상호작용(Human Computer Interaction, HCI) 등이 있는데, 이러한 기술들은 특히 AR과 같은 애플리케이션의 필수 솔루션이다. 컴퓨터 그래픽 분야에서는 AR에 적용 가능한 저지연 렌더링(Low-Latency Rendering)과 게임 성능(Game Performance) 최적화를 연구한다.

▲ 시각 지능 기술을 연구하고 있는 삼성전자 우크라이나 연구소 (Samsung R&D Institute Ukraine) 연구원들

Q: 갤럭시 Z 폴드3의 S펜 기술 개발에도 기여했다. S펜 개발 배경을 소개해 달라.

우리가 집중적으로 연구한 솔루션 중 하나가 S펜 손글씨 인식(Handwriting Recognition) 기술이다. 갤럭시 Z 폴드3는 크고 유연한 디스플레이가 특징으로, 업무나 학업의 생산성을 높이고 새로운 가능성을 제공하는 유일무이한 제품이라고 생각한다. 이런 점에서 S펜 손글씨 인식은 매우 중요한 기술이다. 우리는 펜과 종이가 가진 장점을 디지털 화면으로 옮기기 위해 연구를 거듭했고 그 결과, 손글씨 인식 솔루션에 관련한 특허를 여럿 취득 했다.

Q: S펜 손글씨 인식 기술이 기능적 편리함을 넘어 사람들의 보다 나은 일상에 기여하는 면도 있을 것 같다.

펜과 종이를 사용할 때의 필기 경험에 최대한 가깝게 구현하려 노력했다. 이걸 가능하게 했던 것이 갤럭시 Z 폴드3에 탑재된 AI 기반 포인트 예측(Point Prediction) 솔루션인데, S펜의 입력 지연시간(Latency Input)을 최소화해준다. 이런 기술 덕분에 사용자들은 디지털 필기를 쉽고 즐겁게 경험할 수 있다. S펜으로 쓴 노트를 간편하게 문서로 변환하고, 표·도형·링크도 스마트하게 삽입하며, 심지어 수학 문제 풀이도 한다. 이러한 경험이 일상생활에 진정한 변화를 가져올 것이라 믿고 있다.

Q: 최근 우크라이나 연구소에선 어떤 기술 트렌드를 주목하고 있나?

‘시각 양식(Visual Modality)’을 꼽고 싶다. 일반적인 메모나 영상을 어떻게 하면 스마트한 메모나 영상으로 바꿀 수 있을지, 그리고 이 과정에서 유의미한 상황 정보(Context)를 얼마나 추출할 수 있을지가 관건인 기술이다. 특히 AR이 가능성 높은 분야인데, 아직 해결해야 할 숙제가 많다. 주위 환경을 총체적으로 탐색해 잘 정리된 상황 정보를 제공하는 ‘디지털 눈(Digital Eyes)’이 현실화된다면 우리 삶을 완전히 바꿔 줄 것이다.

인간과 컴퓨터 간의 상호작용인 ‘HCI(Human Computer Interaction)’도 중요한 트렌드다. 말하고 듣고 보는 다중양식 상호작용(Multi-Modal Interaction)은 HCI에서 중요한 부분을 차지하고 있다. 사용자의 음성, 동작, 표정 등 다양한 정보를 종합해 사용자가 원하는 것을 기호에 맞게 제공할 수 있는 다중양식 상호작용은 앞으로 필수적인 기술이다. 전자제품이 컴퓨터 비전을 통해 사람의 눈처럼 시각 정보를 얻을 수 있다고 가정할 때, 이 정보를 음성 대화 정보와 융합한다면 하나의 정보에만 의존한 것보다 훨씬 인간의 눈 높이에 맞는 경험을 제공할 수 있기 때문이다.

Q: 우크라이나 연구소에서 가장 기억에 남는 성과를 꼽는다면 무엇인지?

올해 6월, AI 분야 주요 어워드인 ‘2021년 CVPR 차트 질문 답하기 챌린지(CVPR 2021 Chart Question Answering Challenge)’에서 팀이 우승을 거둔 것이 가장 기억에 남는다. CVPR(Conference on Computer Vision and Pattern Recognition)은 1983년부터 매년 6월 열리는 국제 학술대회로, 컴퓨터 비전 분야 세계 최고 수준 학회로 손꼽힌다.

Q: 시각 지능 기술이 모바일 사용 경험을 혁신하는 데 매우 중요한 기술인 것처럼, 언어 처리 기술도 못지않게 집중 연구가 필요한 분야다. 우크라이나에선 언어 기술 분야를 어떻게 보고 있는지 궁금하다.

자연 언어 처리(Natural Language Processing, NLP)는 가장 어려운 연구분야 중 하나다. 우리는 전 세계 모든 사람들이 우리 솔루션을 경험할 수 있기를 바라는데, 그렇게 되려면 사용할 수 있는 언어가 확장돼야 하고 지원도 필요하다. 이를 위해, S펜 손글씨 인식 기술이 더 많은 언어를 지원할 수 있도록 노력하고 있다. 현재 80여 개의 언어를 지원하는데 이 숫자는 앞으로 더 늘어날 것으로 본다.

※ 삼성리서치 폴란드의 ‘우카쉬’ 연구원의 인터뷰와 질문에 대한 답변은 2편에서 만날 수 있습니다.