이들은 갤럭시 Z 폴드3의 커다란 화면에 S펜으로 글을 쓰거나 그림을 그려 넣고, 다양한 언어의 손글씨를 텍스트로 변환할 수 있도록 인공지능(AI) 등 첨단기술을 불어넣었다. 삼성전자 뉴스룸은 삼성리서치 우크라이나 연구소의 올가 라디보넨코(Olga Radyvonenko) 연구원으로부터 새로운 폴더블폰 S펜을 개발해온 과정, 그리고 S펜의 현재와 미래까지 다채로운 이야기를 들어봤다. 영상으로 진행한 전체 인터뷰 내용은 기사 아래쪽에서 확인할 수 있다.

Q. 삼성리서치 우크라이나 연구소는 어떤 곳인가? 이곳에서 어떤 일을 맡고 있는지.

우크라이나 연구소의 시각지능팀에서 AI 관련 업무를 맡고 있는 올가 라디보넨코라고 한다. AI는 삼성리서치가 연구개발(R&D) 하는 핵심 기술 중 하나다. 우리 연구소는 더 쉽고 즐겁게 스마트 기기에 명령을 입력하고 상호작용을 할 수 있도록, 사용자 중심의 AI 기술을 개발하는 데 주력하고 있다.

Q. 폴더블 스마트폰 중 최초로 갤럭시 Z 폴드3에 S펜이 적용됐다. 이 과정에서 맡았던 역할과 기여한 분야는.

갤럭시 Z 폴드3는 S펜을 지원하는 최초의 폴더블 스마트폰이다. 갤럭시 Z 폴드와 S펜의 조합은, S펜으로 경험할 수 있는 폴더블폰의 다양한 기능에 대한 삼성전자만의 관점을 보여준다. 우리 연구소는 갤럭시 Z 폴드3에서 손글씨를 인식할 수 있는 딥러닝 기술을 개발하는 한편, 그래픽과 AI를 개선해 S펜의 입력 지연시간을 줄이는 데 집중해왔다.

Q. ‘S펜 소프트웨어 개발 키트(SDK)’는 무엇인지, 그리고 이 키트만의 강점이 있다면.

S펜 SDK는 세계 각국의 삼성 연구원과 개발자들에 의해 지속적인 개발이 이뤄지고 있다. 이런 글로벌 팀의 일원이어서 자랑스럽다. S펜 SDK는 렌더링 속도를 높이는 것은 물론, S펜의 입력 대기시간을 줄여 기기에 최적화하는 방법을 제공한다. 이 키트는 손으로 쓴 텍스트와 도형, 도표 등을 인식하는 스마트 AI 기반 기능으로 구성돼 있다.

Q. 갤럭시 Z 폴드3에 탑재된 S펜은 특별한 기능들을 갖추고 있다. 폴더블 스마트폰에 맞춰 개발됐거나, 확장된 기능이 있다면.

갤럭시 Z 폴드3는 접을 수 있는 특별한 대화면을 가지고 있다. 이번에 S펜의 입력 지연시간을 줄이는 것은 물론, 더욱 편리한 사용을 위해 AI 기술을 활용했다. 딥러닝을 기반으로 포인트 예측 기술을 더하면서, S펜으로 입력한 뒤 갤럭시 Z 폴드3 화면에 나타나기까지 필요한 시간을 최소화했다. 사용자는 전면(front) 버퍼 렌더링 기술과 대화면의 결합으로, 자연스럽게 노트 필기와 스케치를 할 수 있다.

Q. S펜이 인식할 수 있는 언어의 수가 계속 늘어나고 있다. 현재 S펜은 현재 몇 개 언어를 지원하며, 우크라이나 연구소가 기여한 부분은.

S펜으로 사용할 수 있는 언어를 더 많이 늘리는 게 우리의 주요 목표 중 하나다. 이에 매년 S펜으로 구현할 수 있는 다채로운 기능은 물론, S펜이 인식할 수 있는 새로운 언어 세트를 개발하고자 노력하고 있다. 현재 S펜은 88개 언어를 지원하며, 그중 14개는 작년에 새롭게 추가했다.

손으로 쓴 글씨를 인식하기 위해 새 언어를 추가하는 과정은 수많은 노력이 필요하다. 세계 최고 수준의 언어 인식 성능과 속도를 위해 첨단 AI 기술을 개발했다. 이 기술은 수백만 명의 사용자 샘플을 거친 딥러닝과 자연어 처리(NLP) 언어 모델링을 기반으로 한다.

Q. 갤럭시 Z 폴드3의 S펜을 유용하게 쓸 수 있는 특별한 팁이 있다면.

이번에 손으로 글씨 쓰는 것을 선호하는 사용자를 위해 S펜으로 화면에 직접 필기를 할 수 있도록 지원했다. 사용자가 손으로 글씨를 쓰면, 텍스트로 자동 변환된다. 띄어쓰기를 수정하거나 단어를 삽입하는 것도 S펜으로 간편하게 할 수 있다. 사용자들이 관심을 가질만한 것으로는 도형을 만들어 넣는 기능(Neat Shape mode)이 있다. 이를 활용해 S펜으로 간편하게 도형을 그려서 정확하게 변환시키거나, 손쉽게 문서에서 업무 흐름도를 작성할 수 있다.

갤럭시 Z 폴드3의 ‘팁스(Tips)’ 앱을 활용해 유용한 기능을 확인해보는 것도 추천한다. 최신 S펜과 입력 관련 기능은 물론, 삼성의 다른 앱들을 최대한 잘 활용할 수 있는 방법들을 배울 수 있다.

Q. 앞으로 펼쳐질 S펜의 미래는 어떤 모습일지, 어떤 형태로 진화할지 궁금하다.

앞으로 개별 사용자가 맞춤형으로 특별한 경험을 누릴 수 있게 유용한 방법들을 소개하고 싶다. 사용자가 S펜으로 화면에 입력할 때, 마치 펜으로 메모장에 글자를 쓰듯 실제처럼 느끼고, 더욱 스마트한 경험을 제공하는 것이 우리의 임무라고 생각한다.

가능한 많은 사용자가 S펜과 손글씨 입력 기능이 가진 편리함과 매력을 경험했으면 한다. S펜은 다양한 기기에서 손쉽게 글자를 입력할 수 있도록 하는 잠재력을 지니고 있다. 우리는 S펜이 멋진 기기이면서, 동시에 접근이 쉽고 유용한 도구라고 생각한다. S펜과 그 유용한 기능들이 글로벌 곳곳의 학교와 직장, 일상생활에서 사용되는 모습을 보고 싶다. 우리는 ‘입력’ 기술의 혁명을 마주할 준비가 돼 있다고 믿는다.

삼성전자는 사용자들이 보다 편리한 삶을 누릴 수 있도록, 기술 경쟁력을 강화하고 선행 기술을 확보하기 위해 다양한 노력을 기울이고 있다. 그 노력의 중심에 CE(Consumer Electronics) 부문과 IM(IT & Mobile Communications) 부문 선행연구개발 조직인 ‘삼성리서치’가 있다. 삼성리서치는 전세계 12개국에 위치한 R&D 센터 14곳, 글로벌 AI 센터 7곳과 함께 사용자 중심의 혁신 기술을 연구하며 미래를 준비하고 있다.

뉴스룸은 삼성리서치 해외연구소 6곳의 연구원들을 차례로 만나 삼성전자 제품 경쟁력의 밑바탕인 차세대 기술과 연구 분야, 그리고 이들의 연구가 보다 나은 삶에 어떻게 기여하고 있는지를 소개한다.

릴레이 인터뷰 첫 번째 주자는 삼성전자 우크라이나 연구소(Samsung R&D Institute Ukraine)의 시각 지능(Visual Intelligence) 팀장 세르게이 리트비넨코(Sergii Lytvynenko)다. 아래는 소프트웨어 엔지니어로 입사해 10여년 이상 시각 지능 기술을 연구해온 전문가, 세르게이와의 일문일답이다.

Q: 우크라이나 연구소는 어떤 곳인가?

우크라이나의 심장부인 키이브(Kyiv)에 위치한 우리 연구소는 2009년 설립 초창기부터 AI, Augmented Reality (AR, 증강현실)/Virtual Reality(VR, 가상현실), 보안 분야 선행 기술 연구에 집중해왔다. 유수의 전문가들이 보안 기술, 컴퓨터 비전 등의 연구에 몰두하고 있고, 현지 대학과 산학 협력도 활발히 진행하고 있다.

Q: 시각 지능팀에서는 주로 어떤 연구를 하는가?

AI, 컴퓨터 비전, 컴퓨터 그래픽 분야에 대한 연구를 하고 있다. 연구 성과를 총체적인 사용자 경험으로 변환해서, 종래엔 사람들의 삶의 질을 개선하는 게 주요 업무라고 보면 된다. 물론, 여기에는 일상을 쉽고 간편하게 만드는 것과 사용자에게 긍정적 감정, 몰입 경험을 전달하는 것도 포함된다. 또, 이런 선행 연구가 삼성전자의 다양한 제품에 반영될 수 있도록 여러 팀과 협업도 하고 있다.

Q: 컴퓨터 비전과 컴퓨터 그래픽, 이 두 기술이 새로운 사용 경험에 기여했던 사례를 소개해 달라.

지난 해 ‘스마트 트레이너(Smart Trainer)’라는 새로운 차원의 홈 트레이닝 솔루션 연구를 수행했다. 이 시스템은 스마트 TV에 연결된 USB 카메라로 사용자의 동작을 읽고 사용자가 실시한 운동을 기록하며 자세 정확도까지 알려줄 수 있다. 모두 AI 기술로 가능한 서비스다.

Q: AR 글래스와 같은 증강현실 기술과 관련한 연구도 진행 중인지 궁금하다.

컴퓨터 비전과 컴퓨터 그래픽 기술을 AR 글래스에 적용할 때 풀어야 할 숙제가 아직 많다. 우리 팀에선 주로 난제 해결 방법을 연구하고 있다.

사람의 눈과 같은 기능을 연구하는 컴퓨터 비전 분야는 카메라, 스캐너 등에 투입된 시각 정보에서 유용한 정보를 생성하는 기술이다. 구체적인 주 연구 분야로는 SLAM(Simultaneous Localization and Mapping)^[1], 깊이 측정(Depth Estimation), 주위 환경 이해(Environment Understanding), 인간과 컴퓨터간 상호작용(Human Computer Interaction, HCI) 등이 있는데, 이러한 기술들은 특히 AR과 같은 애플리케이션의 필수 솔루션이다. 컴퓨터 그래픽 분야에서는 AR에 적용 가능한 저지연 렌더링(Low-Latency Rendering)과 게임 성능(Game Performance) 최적화를 연구한다.

▲ 시각 지능 기술을 연구하고 있는 삼성전자 우크라이나 연구소 (Samsung R&D Institute Ukraine) 연구원들

Q: 갤럭시 Z 폴드3의 S펜 기술 개발에도 기여했다. S펜 개발 배경을 소개해 달라.

우리가 집중적으로 연구한 솔루션 중 하나가 S펜 손글씨 인식(Handwriting Recognition) 기술이다. 갤럭시 Z 폴드3는 크고 유연한 디스플레이가 특징으로, 업무나 학업의 생산성을 높이고 새로운 가능성을 제공하는 유일무이한 제품이라고 생각한다. 이런 점에서 S펜 손글씨 인식은 매우 중요한 기술이다. 우리는 펜과 종이가 가진 장점을 디지털 화면으로 옮기기 위해 연구를 거듭했고 그 결과, 손글씨 인식 솔루션에 관련한 특허를 여럿 취득 했다.

Q: S펜 손글씨 인식 기술이 기능적 편리함을 넘어 사람들의 보다 나은 일상에 기여하는 면도 있을 것 같다.

펜과 종이를 사용할 때의 필기 경험에 최대한 가깝게 구현하려 노력했다. 이걸 가능하게 했던 것이 갤럭시 Z 폴드3에 탑재된 AI 기반 포인트 예측(Point Prediction) 솔루션인데, S펜의 입력 지연시간(Latency Input)을 최소화해준다. 이런 기술 덕분에 사용자들은 디지털 필기를 쉽고 즐겁게 경험할 수 있다. S펜으로 쓴 노트를 간편하게 문서로 변환하고, 표·도형·링크도 스마트하게 삽입하며, 심지어 수학 문제 풀이도 한다. 이러한 경험이 일상생활에 진정한 변화를 가져올 것이라 믿고 있다.

Q: 최근 우크라이나 연구소에선 어떤 기술 트렌드를 주목하고 있나?

‘시각 양식(Visual Modality)’을 꼽고 싶다. 일반적인 메모나 영상을 어떻게 하면 스마트한 메모나 영상으로 바꿀 수 있을지, 그리고 이 과정에서 유의미한 상황 정보(Context)를 얼마나 추출할 수 있을지가 관건인 기술이다. 특히 AR이 가능성 높은 분야인데, 아직 해결해야 할 숙제가 많다. 주위 환경을 총체적으로 탐색해 잘 정리된 상황 정보를 제공하는 ‘디지털 눈(Digital Eyes)’이 현실화된다면 우리 삶을 완전히 바꿔 줄 것이다.

인간과 컴퓨터 간의 상호작용인 ‘HCI(Human Computer Interaction)’도 중요한 트렌드다. 말하고 듣고 보는 다중양식 상호작용(Multi-Modal Interaction)은 HCI에서 중요한 부분을 차지하고 있다. 사용자의 음성, 동작, 표정 등 다양한 정보를 종합해 사용자가 원하는 것을 기호에 맞게 제공할 수 있는 다중양식 상호작용은 앞으로 필수적인 기술이다. 전자제품이 컴퓨터 비전을 통해 사람의 눈처럼 시각 정보를 얻을 수 있다고 가정할 때, 이 정보를 음성 대화 정보와 융합한다면 하나의 정보에만 의존한 것보다 훨씬 인간의 눈 높이에 맞는 경험을 제공할 수 있기 때문이다.

Q: 우크라이나 연구소에서 가장 기억에 남는 성과를 꼽는다면 무엇인지?

올해 6월, AI 분야 주요 어워드인 ‘2021년 CVPR 차트 질문 답하기 챌린지(CVPR 2021 Chart Question Answering Challenge)’에서 팀이 우승을 거둔 것이 가장 기억에 남는다. CVPR(Conference on Computer Vision and Pattern Recognition)은 1983년부터 매년 6월 열리는 국제 학술대회로, 컴퓨터 비전 분야 세계 최고 수준 학회로 손꼽힌다.

Q: 시각 지능 기술이 모바일 사용 경험을 혁신하는 데 매우 중요한 기술인 것처럼, 언어 처리 기술도 못지않게 집중 연구가 필요한 분야다. 우크라이나에선 언어 기술 분야를 어떻게 보고 있는지 궁금하다.

자연 언어 처리(Natural Language Processing, NLP)는 가장 어려운 연구분야 중 하나다. 우리는 전 세계 모든 사람들이 우리 솔루션을 경험할 수 있기를 바라는데, 그렇게 되려면 사용할 수 있는 언어가 확장돼야 하고 지원도 필요하다. 이를 위해, S펜 손글씨 인식 기술이 더 많은 언어를 지원할 수 있도록 노력하고 있다. 현재 80여 개의 언어를 지원하는데 이 숫자는 앞으로 더 늘어날 것으로 본다.

※ 삼성리서치 폴란드의 ‘우카쉬’ 연구원의 인터뷰와 질문에 대한 답변은 2편에서 만날 수 있습니다.