기존 16개 언어에 네덜란드어, 루마니아어, 스웨덴어, 튀르키예어가 새롭게 추가돼 총 20개 언어가 지원된다.

^{※기존 갤럭시 AI 지원 언어(16개): 한국어, 중국어(간체), 영어, 프랑스어, 독일어, 힌디어, 이탈리아어, 일본어, 폴란드어, 포르투갈어, 스페인어, 태국어, 베트남어, 아랍어, 인도네시아어, 러시아어}

▲ ‘갤럭시 AI’의 지원 언어에 네덜란드어, 루마니아어, 스웨덴어, 튀르키예어가 새롭게 추가돼 총 20개 언어로 확대된다.

갤럭시 AI 지원 제품 사용자는 10월 말 부터 설정 앱에서 새롭게 지원되는 언어를 다운로드 받아 사용할 수 있다.

^{※갤럭시 AI 지원 제품: 갤럭시 Z 폴드6·플립6·폴드5·플립5·폴드4·플립4·S24 시리즈·S23 시리즈·S22 시리즈·S23 FE·탭 S10 시리즈·탭 S9 시리즈·탭 S8 시리즈 등}

갤럭시 AI는 20개 언어를 구사하는 혁신적인 기능을 통해 언어의 장벽을 뛰어넘은 자유로운 소통과 창의적 활동을 지원한다.

갤럭시 AI가 제공하는 언어 기능은 다음과 같다.

▲통화 중 음성을 실시간으로 통역하는 ‘실시간 통역’ ▲대면 대화 내용을 즉시 번역해 분할·듀얼 화면에 텍스트로 표시하는 ‘통역’ ▲효율적인 채팅을 돕는 ‘채팅 어시스트’ ▲노트 내용의 번역과 정리를 지원하는 ‘노트 어시스트’ ▲음성을 텍스트로 변환하고 이를 바로 번역하는 ‘텍스트 변환 어시스트’ ▲웹페이지를 번역하는 ‘브라우징 어시스트’

한편, 삼성전자는 언어를 넘어 문화를 이해하고 관련 지식을 갖춘 고도화된 ‘갤럭시 AI’를 위해 세계 각지의 R&D 센터에서 언어 모델 연구와 개발에 매진하고 있다.

‘갤럭시 AI’ 언어 모델은 언어의 특성과 문법에 대한 정량 평가, 문화에 대한 지식과 이해를 검증하는 정성 평가 등을 거쳐 공개된다.

^{※’갤럭시 AI’ 언어 모델 개발에 대한 보다 자세한 내용은 삼성전자 뉴스룸의 ‘갤럭시 AI 글로벌 연구소(https://bit.ly/3yrfUO3)’ 시리즈를 통해 확인할 수 있다.}

▲ ‘갤럭시 AI’의 지원 언어에 네덜란드어, 루마니아어, 스웨덴어, 튀르키예어가 새롭게 추가돼 총 20개 언어로 확대된다.

AI 모델에 언어를 학습시키는 일은 매우 복잡한 과정을 거친다. 하물며 그 언어가 단순한 하나의 언어가 아닌 다양한 방언의 집합체라면 과연 AI모델에 어떻게 학습시킬 수 있을까?

아랍어는 세계에서 6번째로 많이 사용되는 언어^[1](20여개국 4억명 이상)로, 현대 표준 아랍어(MSA)인 푸스하와 방언인 암미야로 구분할 수 있다. 푸스하는 아랍 지역에서 공식 표준어로 사용되고 있어 미디어나 교육, 정부 등에서 사용되는 반면, 암미야는 일상적인 대화에 흔히 사용되곤 한다. 아랍어 방언은 특정 지역이나 도시에서 변형되어 사용하고 있는데, 총 30여종이 있다.

수 많은 방언을 표준어로…쉽지 않은 도전

갤럭시 AI의 실시간 통역 기능에 아랍어 옵션을 추가하기로 하면서 요르단 연구소에는 비상이 걸렸다. 중동과 북아프리카 권역에 퍼져있는 다른 발음, 어휘, 억양을 가진 방언들을 고려해야 했기 때문이다. 우선적으로 표준 아랍어와 유사도가 높은 걸프 지역 방언에 집중할 필요가 있었다.

요르단 연구소는 이를 해결하기 위해 언어 학습을 담당하는 갤럭시 AI 개발 여타 팀들과는 다른 방식으로 프로젝트에 접근했다. 모함마드 함단 (Mohammad Hamdan) 아랍어 언어 개발 프로젝트 총 책임자는 “다른 언어와는 다르게 아랍어는 문장 내 주어와 동사에 따라 목적어의 발음이 달라진다”며 “이 모든 방언을 이해하면서 표준 아랍어로 대답할 수 있는 모델을 개발하는 것이 우리의 목표”라고 말했다.

해당 작업에서 특히 어려웠던 부분은 텍스트 음성 변환(TTS) 작업이다. 이는 음성을 텍스트로 번역한 뒤 이를 다시 음성으로 재생하여 다른 언어를 사용하는 상대방과 소통이 가능하도록 갤럭시 AI의 실시간 통역 기능 구현에 필수 과정이었다.

이 과정에서 삼성리서치 요르단 연구소에는 아랍어의 독특한 특성을 AI 학습 모델에 반영해야만 하는 힘든 도전 과제가 주어졌다.

아랍어는 글자의 위나 아래에 찍어 기존의 철자와는 다른 발음이나 의미를 부여할 때 쓰는 ‘발음 구별 기호’를 사용해 단어의 발음을 표기하는데, 이는 종교 문헌이나 시, 어학 학습서 등에서 쓰인다.

아랍어가 모국어인 사용자의 경우 ‘발음 구별 기호’에 대한 이해는 당연하지만 일상 생활에서는 이를 사용하지 않기 때문에 컴퓨터가 아랍어 원문을 음성의 기본단위인 음소^[2]로 바꾸는 것은 상당히 어려운 작업이다.

모함마드 하윌레 팀장은 “발음 구별 기호가 사용되는 방식을 정확하고 올바르게 표현하는 양질의 언어 데이터가 부족한 상황”이라며 “이를 보완하기 위해 누락된 발음 구별 기호를 높은 정확도로 예측하고 복원할 수 있는 신경망 모델(neural model)을 설계했다”고 말했다.

신경망은 사람의 두뇌 동작 방식을 흉내 낸다. 발음 구별 기호를 예측하기 위해 대량의 아랍어 텍스트를 분석하고 언어 규칙과 패턴을 학습한 후, 문맥과 구문을 바탕으로 이런 이해를 적용해야 한다. 일례로 단어의 발음은 명사의 성별과 사용된 동사에 따라 크게 달라질 수 있다. 아랍어 TTS 모델이 정확도를 달성하기까지 엄청난 양의 훈련이 필요했던 까닭이다.

언어 AI 이해의 고도화

요르단 연구소는 다양한 출처에서 각기 다른 방언의 음성 녹음 데이터를 모으고 고유한 소리, 단어, 문장에 주목하여 이 것을 텍스트로 변환했다.

데이터베이스 구축을 맡은 아야 하산(Ayah Hasan)은 “여러 방언의 미묘한 차이와 변형을 정확히 이해할 수 있는 원어민들로 팀을 구성했다”며 “이들은 녹음된 내용을 듣고 그것을 일일이 글과 문장으로 바꾸는 수작업을 진행했다”고 설명했다.

더불어 사우디아라비아와 아랍에미리트에서 사용되는 고유 명사의 문서와 녹음 샘플을 수집하고, 이후 기계 번역 처리 과정을 진행하기 위해 속어, 관용 표현, 방언별 특성 등 참조 텍스트도 확보했다.

해당 프로젝트의 자동 음성 인식(ASR) 책임자인 모함마드 함단(Mohammand Hamdan)은 “하나의 언어 모델에서 다수의 방언을 지원하는 ASR 시스템을 만드는 것은 대단히 어려운 일”이라며 “언어의 복잡성에 대한 깊은 이해, 신중한 데이터 선별, 고급 모델링 기술을 필요로 한다”고 말했다.

요르단 연구소 모든 구성원이 끊임없이 노력한 결과, 마침내 갤럭시 AI에 아랍어 옵션이 추가되어 출시되었고, 더 많은 갤럭시 AI 사용자들에게 국경을 넘는 소통의 자유를 누릴 수 있도록 해주는 계기가 되었다.

이제 아랍어 사용자들은 방언에 관계없이 보다 쉽고 편리하게 갤럭시 AI 서비스를 이용할 수 있게 되었다. 동시에 삼성리서치 요르단 연구소의 고객을 위한 불굴의 노력과 그에 따른 성과는 전 세계에 전파 할만한 모범 사례로 꼽히고 있다.

본 시리즈의 제3화에서는 베트남으로 향해 데이터 정제와 AI 모델 트레이닝 과정을 살펴본다.

다양한 AI 기능을 대거 선보이며 모바일 AI 시대를 선도할 게임 체인저로 나선 갤럭시 S24 시리즈. 연일 뜨거운 반응을 낳고 있는 가운데, 뉴스룸 에디터가 갤럭시 S24 울트라의 ‘실시간 통역’ 기능을 언팩이 열린 새너제이 다운타운에서 직접 사용해봤다.

영어 못해도 통한다! 어디서나 자유로운 소통 가능한 ‘실시간 통역’

작년에 해외 여행을 떠난 내국인이 2천만명을 넘어섰다고 한다. 그야말로 코로나19 이후 여행 붐이 재개된 셈이다. 해외여행을 가면 가장 걱정되는 게 바로 ‘의사소통’이기에 갤럭시 AI의 핵심 기능인 실시간 통역 기능을 테스트해 보기 위해 에디터는 별점이 높고 평이 좋은 현지 유명 레스토랑에 전화를 걸어 한국어로 예약을 시도했다.

▲에디터가 실시간 통역 기능을 활용해 레스토랑에 전화를 거는 모습

갤럭시 S24 울트라의 ‘실시간 통역‘ 기능을 활성화하고 긴장된 마음으로 통화 버튼을 눌렀다. 신호음이 울리고 전화를 받은 상대방. 에디터가 호흡을 가다듬어 말을 건네자 “이 통화는 실시간으로 번역되며 화면에 텍스트로 표시됩니다”란 안내가 나왔다. 이어 에디터의 한국어 인사말이 곧장 영어로 통역됐다. “Hello, how may I help you?” 에디터의 인사에 응답한 상대방의 인사. 에디터는 용기를 얻고 한국어로 통화를 이어 나간다. “이번 주 목요일 1시 30분에 예약하고 싶은데요.” “I’d like to make a reservation for this Thursday at 1:30”. 상대편에서 신기해하는 듯한 소리와 함께 예약 인원과 예약자명을 묻고는 최종 예약 확인을 했다. “Okay, then I have you down for a reservation for 6 people at 1:30 PM this Thursday.”

▲갤럭시 S24 울트라의 실시간 통역 기능으로 레스토랑에 전화 예약하는 모습

^{※ 독자 이해를 돕기 위해 속도를 조정하였음}

이번에 선보인 갤럭시 S24 시리즈는 최대 13개 언어를 지원해 실시간 음성 통역뿐 아니라 화면에서 텍스트 번역까지 실시간 통역을 제공한다. 처음에는 사용 언어를 설정해야 하지만 연락처마다 사용하는 언어를 기억해 다음 통화 시에 자동 설정되며, 상대방이 갤럭시가 아니어도 심지어 어떤 종류의 전화를 사용하든 간에 실시간 통역 기능을 사용할 수 있다. 실제로 사용해 보니 다른 언어를 사용하더라도 바로 옆에 통역사가 있는 것처럼 실시간 의사소통이 가능해, 마치 언어의 장벽이 사라진 듯한 기분에 놀라움을 감출 수 없었다.

성공적으로 예약을 마친 에디터는 예약한 날짜에 맞춰 레스토랑을 방문했다. 카운터에 있던 직원에게 예약자명을 말하자 직원은 실시간 통역 기능으로 예약을 했던 에디터를 기억하곤 에디터와 일행을 반갑게 맞아주었다. 우연히도, 그녀는 에디터가 전화 예약 당시 예약을 받았던 해당 직원이었던 것.

▲에디터는 갤럭시 S24 울트라로 인증샷을 남기고 기분 좋은 식사를 했다.

기분 좋은 응대를 시작으로 맛있는 식사를 마친 후, 에디터는 예약을 받았던 직원 드리아나 카르다렐리(Drianna Cardarelli, 이하 ‘드리아나’)에게 해당 기능을 설명하며, 예약 당시 실제로 경험해 본 소감을 물었다. 레스토랑 직원 드리아나는 “저희 레스토랑에는 스페인어를 사용하는 손님들의 예약 문의가 많은데, 종종 영어를 잘하지 못해 스페인어를 유창하게 구사할 줄 아는 직원을 찾곤 한다. 하지만, 갤럭시 S24 시리즈의 실시간 통역 기능만 있다면 손님들도 편하게 문의 전화할 수 있고 저희도 손님들에게 더 좋은 서비스로 응대해 드릴 수 있을 것 같다”고 말했다. 그녀는 “언어의 장벽 없이 누구와도 자유롭게 소통할 수 있다는 것은 정말 멋진 일이다”라고 덧붙였다.

▲새너제이의 ‘R’ 레스토랑 직원 ‘드리아나 카르다렐리(Drianna Cardarelli)’(좌), 뉴스룸 에디터가 갤럭시 S24 울트라의 실시간 통역 기능을 설명해주는 모습(우)

에디터가 체험한 실시간 통역 기능은 온 디바이스 AI를 기반으로 하고 있다. 이는 인터넷 연결이 되지 않은 상태에서도 갤럭시 자체에 내장된 AI가 작동하여 사용이 가능하다는 것을 의미한다. 더불어, 이러한 온 디바이스 AI는 보안에 대한 우려 없이 안심하고 사용할 수 있다.

갤럭시 AI 생태계에는 다양한 기능이 존재한다. 에디터가 해외에서 실시간 통역으로 문제를 해결한 것처럼, 사용자들은 각기 다른 환경에서 자기만의 AI 경험을 구축하고 확장할 수 있다. 본격 모바일 AI 시대를 연 갤럭시의 행보를 눈여겨보자.