삼성전자 폴란드 연구소, 2019 구술언어번역 국제워크숍 경진대회 우승

삼성전자 폴란드 연구소는 구술언어번역 국제워크숍(International Workshop on Spoken Language Translation, IWSLT)에서 진행한 경진대회에 참가하여 3년 연속 수상이라는 쾌거를 거두었다. IWSLT는 기계번역 워크숍(WMT, Workshop on Machine Translation)과 쌍벽을 이루는 자동언어번역 분야의 주요 워크숍이다. 올해 삼성전자 폴란드 연구소는 영국 에든버러 대학교와 협력하여, 영어-체코어 텍스트-텍스트 번역 부문과 영어-독일어 오디오-텍스트 번역 시스템 부문에서 1위를 차지했다.

삼성전자 연구원들은 텍스트-텍스트 번역 부문에서 테드 토크(TED TalK) 상의 영어 구술언어의 텍스트 문서를 체코어로 번역할 수 있는 모델을 개발해냈다. 이 모델을 선보이기 위해 선행되어야 할 과제는 대규모의 여과된 말뭉치^[1] 개발이었다. 이 말뭉치를 통해 최대한 많은 합성 데이터를 활용하고 만들어낼 수 있기 때문. 폴란드 연구소 팀이 구축한 시스템이 만들어낸 번역 모델은 전문 번역가들에 의한 평가 결과, 유창함과 타당성 면에서 최상위 점수를 기록, 이번 경진대회의 최우수 과제로 선정되었다.

이 외에도, 폴란드 연구팀은 영어-독일어 오디오-텍스트 번역 시스템 부문에 최초로 참여, 우승을 거머쥐었다. 그들이 수행한 과제는 영어로 녹음된 테드 토크(TED TalK) 오디오를 독일어 텍스트로 만드는 것. 이를 위해서는 영어 오디오 파일을 독일어로 번역된 텍스트 파일로 변환시킬 수 있는 단일 모델을 개발해야 했다. 단일 모델 개발 시의 난제는 오디오 소스의 데이터양이 텍스트 소스에 비해 훨씬 적다는 것인데, 삼성전자 폴란드 연구소는 이를 극복하기 위한 혁신적인 방법을 제시해 올해 대회에서 1위를 차지했다.

삼성리서치 아메리카 AI 센터, 2019 국제 컴퓨터 비전 학회 경진대회 우승

올해 10월, 삼성리서치 아메리카의 AI 센터 연구원들은 국제 컴퓨터 비전 학회(International Conference on Computer Vision, ICCV)의 패션 IQ 챌린지에서 1위를 수상했다.

컴퓨터 비전 분야에서 가장 권위 있는 국제학회인 ICCV가 개최하고 IBM 리서치가 후원한 ‘언어학과 이미지, 비디오 검색의 만남(The Linguistics Meets Image and Video Retrieval (Fashion IQ)’ 경진대회는 이미지 검색 작업을 겨루는 방식으로 진행되었는데, 최근 각광받는 자연어 인터페이스를 사용한 시각 콘텐츠 검색이라는 점에서 많은 석학과 연구진들의 관심이 집중되었다.

삼성리서치 아메리카 AI 센터 연구팀인 ‘슈퍼랩터스’는 “자연어 피드백을 이용한 다양한 이미지 검색 모델의 다중 통합 양식(Multimodal Ensemble of Diverse Models for Image Retrieval Using Natural Language Feedback)”이라는 이미지 검색 기술로 참가, 다수의 딥러닝 모델을 사용해 다양한 양식으로 데이터를 혼합하는 연구 성과를 선보였다.

삼성리서치 아메리카 AI 센터 팀의 이번 우승은 삼성리서치 연구팀이 언어와 비전을 포함하는 다모드 대회에서 처음으로 우승한 사례가 되었다. 이전에는 삼성전자 AI 모스크바 센터, 삼성전자 폴란드 연구소, 삼성전자 R&D 베이징 연구소가 단일 모드 대회에서 수상을 한 바 있다.

올해로 5회 차를 맞이한 이번 대회에는 총 7개 과제에 109개 팀이 참여해 경합을 벌였다. 본 대회는 3월 4일부터 6월 10일까지 약 3개월간 진행되었으며, 지난 6월 30일에 최종 결과가 발표되었다. 이번 대회에서 삼성전자 세트부문 선행 연구개발(R&D) 조직인 삼성리서치의 폴란드연구소와 북경연구소가 좋은 성과를 내며 호평을 받았다.

삼성전자 폴란드연구소는 ‘음향 장면 분류’ (Acoustic Scene Classification)를 주제로 한 첫 번째 부문의 B 과제(Task 1 – Subtask B)인 ‘불일치 기록 장치가 있는 음향 장면 분류’(Acoustic Scene Classification with Mismatched Devices)와 세 번째 부문(Task 3)인 ‘사운드 이벤트 지역화와 감지’(Sound Event Localization and Detection)에서 1위를 차지했다. 첫 번째 부문의 C 과제(Task 1 – Subtask C), ‘오픈 세트 음향 장면 분류’ (Open set Acoustic Scene Classification)에서는 북경연구소가 1위에, 폴란드연구소가 2위에 올라 삼성전자의 기술 차별성을 드러냈다.

첫 번째 부문의 B 과제와 C 과제(음향 장면 분류)의 목적은 다양한 공간에서 녹음된 환경음을 분석하여 녹음된 공간을 인식하고 판별, 분류하는 것이다. 녹음은 12개 유럽 대도시에서 실시되었으며, 10개 영역(△공항, △실내 쇼핑몰, △지하철역, △보행자 전용 거리, △공공 광장, △중간 정도 교통 정체가 있는 거리, △전차 이동, △버스 이동, △지하철 이동, △도심 공원)이 카테고리에 포함된다.

1-B 과제는 특정 기기에서 학습시킨 알고리즘을 새로운 기기에 적용했을 때도 환경음이 녹음된 공간을 잘 판별하는지 확인하는 과제로, 폴란드연구소는 ‘2차 기록 장치용 신경회로망 교정’ 방식을 제출하여 1위를 차지했다. 이 기술은 앞으로 스마트폰, TV, 냉장고 등 다양한 제품 간에도 적용 가능할 것으로 기대된다.

1-C 과제는 학습 데이터에 없는 환경음을 분류해내는 과제로, 북경연구소는 생성 신경망과 변이 자동 인식 장치를 사용하는 데이터 증가 방안을 채택해 가장 높은 정확도를 달성했다.

또한 삼성 폴란드연구소는 ‘사운드 이벤트 지역화와 감지 측정’을 목표로 하는 세 번째 부문(Task3)에서 1위로 선정되는 쾌거를 안았다. 이 부문은 열쇠 흔드는 소리, 노크 소리, 고양이 울음 소리, 대화하는 소리 등 실내에서 일어나는 다양한 이벤트의 종류를 판단하고, 어느 방향에서 발생했는지 위치를 탐색하는 것을 목표로 한다. 해당 기술은 로봇과 AI 스피커 등에 무궁무진하게 응용될 수 있다. 이 기술은 다양한 배경 소음 때문에 주의가 분산된 환경에서도 특정 소리를 선별해 낼 수 있다는 데 강점을 갖는다. 일상에서 맞닥뜨리는 수많은 소리는 다양한 정보를 제공하고 있기 때문. 삼성전자가 오디오 지능을 연구하는 목적이 여기 있다.

이 음향 기술이 ‘지능형 모니터링 시스템’과 만나면 소리 정보만으로 어떤 활동이 발생했는지를 감지할 수 있는 기술 개발이 가능해진다. 이를 활용하면 번잡한 거리에서도 아기 울음 소리 같은 개별 사운드를 감지해 해당 상황을 인식할 수 있다.

DCASE 2019는 공개적으로 이용할 수 있는 데이터 세트를 활용한 여러 접근 방식을 비교해 계산 장면과 이벤트 분석 방법 개발의 이정표를 세우는 데 평가의 초점이 맞춰졌다. 상위 입상한 팀에게는 논문 제출과 학회 발표 기회가 주어진다.

▲ 삼성전자 폴란드 연구소 팀

▲ 삼성전자 북경 연구소 팀