Японский научно-исследовательский институт Samsung (SRJ) был создан как центр исследований и разработок, ориентированный на аппаратное обеспечение, такое как бытовая техника и дисплеи. Поскольку спрос на инновации в области искусственного интеллекта растет во всем мире, с конца прошлого года в SRJ в Йокогаме работает лаборатория по разработке программного обеспечения для создания Galaxy AI Live Translate, который автоматически переводит голосовые вызовы в режиме реального времени.

«Live Translate особенно эффективен в сценариях путешествий, например, для посетителей Олимпийских игр в Париже в этом году», – говорит Такаюки Акасако (Takayuki Akasako), руководитель отдела искусственного интеллекта компании SRJ. «В настоящее время мы разрабатываем программу распознавания речи для людей, которые одновременно осматривают достопримечательности и наблюдают за Олимпийскими играми в Париже; обучая программу распознавания речи узнавать об играх и расположении стадионов в Париже 2024 года».

Понимание контекста при распознавании голоса

Для тех, кто уже пользуется функциями перевода в Galaxy AI, такой функционал может показаться очень полезным. Но разработчики, воплотившие эти функции в жизнь, знают, что возможность общаться во время путешествий за границей – это не то, что можно воспринимать как должное.

Команда отметила, что в японском языке больше омонимов, чем в некоторых других языках. Например, «палочки для еды» (Хаси, 箸) и «мост» (Хаси, 橋) относительно легко различить из-за разницы в интонации, Но такие слова, как «осмотр достопримечательностей» (Канко, 観光), «обычаи» (Канко, 慣行), «общественность» (Кокё, 公共) и «процветание» (Кокё, 好況), следует определять, исходя из контекста.

«Судить становится сложнее, когда контекст неоднозначен, например, названия местностей и людей, собственные существительные, диалекты и числа», – говорит Акасако. «Поэтому для повышения точности распознавания речи необходимо большое количество данных».

«Мы всегда ищем способы своевременной настройки модели ИИ для ключевых событий и моментов», – продолжает Акасако. «С большим количеством новых комбинаций названий мест и видов деятельности важно, чтобы контекст оставался понятным, когда люди используют Galaxy AI».

Трудности сбора эффективных данных

Хотя осознание типов необходимых данных также важно, сбор данных сам по себе является сложной задачей.

Ранее команда SRJ использовала записанные человеком данные для обучения механизма распознавания речи для Live Translate, что не приводило к сбору достаточного количества данных.

Samsung Gauss, разработанная компанией Большая языковая модель (LLM), использует скрипты для структурирования предложений со словами или фразами, относящимися к каждому сценарию. Данные, собранные с помощью Samsung Gauss, не только записываются людьми, но и генерируются синтезатором речи text-to-speech (TTS), с помощью которого люди осуществляют окончательную проверку качества. Используя этот метод, команда добилась значительного повышения эффективности сбора данных.

«Каждый раз, когда проблема выявляется и решается, точность распознавания речи значительно повышается», – говорит Акасако. «Независимо от того, где находятся люди, наша цель – соединить их друг с другом, а инструменты на базе Galaxy AI обеспечат более увлекательное и эффективное общение».

В польском научно-исследовательском институте Samsung (SRPOL) есть поговорка: «День в SRPOL длится 96 часов». Это относится к глобальной роли центра как одного из крупнейших и наиболее быстро развивающихся центров исследований и разработок в регионе, часто работающего в четырех разных часовых поясах. Расположенный в самом центре Европы и охватывающий множество европейских и мировых рынков, SRPOL работает над моделями автоматического распознавания речи, нейронного машинного перевода и преобразования текста в речь для более чем 30 языков. Когда речь зашла о внедрении 10 языков в Galaxy AI, этот опыт позволил команде легко совместить культурные особенности с глобальными технологиями Samsung.

SRPOL имеет многолетний опыт работы в области обработки естественного языка. Уникальность компании заключается в том, что она может работать над любым языком благодаря увлеченной команде и ее инструментам, таким как краудсорсинговая платформа, обеспечивающая быструю и гибкую разработку.

«Сотрудничество на разных континентах означает постоянный сбор данных, аннотирование и исследования, что стало для нас настоящим удовольствием», – говорит Корнель Янковский (Kornel Jankowski), руководитель отдела декодирования речи в SRPOL. «Мы работали с таким количеством языков, что наша команда приобрела универсальные, не зависящие от языка навыки. Когда нас просят поддержать новую языковую модель, все относятся к этому так: О, вау, мы должны выучить еще один язык, это будет весело!».

Европейский центр разработки языков ИИ

Язык является краеугольным камнем культуры и общения во всей Европе, независимо от того, используется ли он в технологиях. Однако он представляет собой уникальную проблему для команды SRPOL, которая разрабатывает модели ИИ для европейских языков.

«Каждый язык и культура, частью которой он является, сопряжены с трудностями, которые заставляют нас пересмотреть свое восприятие того или иного вопроса», – объясняет Адам Рос (Adam Ros), руководитель отдела искусственного интеллекта компании SRPOL. К таким трудностям относятся непереводимость некоторых фраз и работа с идиоматическими выражениями, которые могут не иметь прямых эквивалентов в других языках».

Команда рассматривала эти проблемы как возможность превратить SRPOL в европейский центр разработки языков ИИ. Самое большое преимущество этого – сокращение пути коммуникации между различными отделами и, что особенно важно, пути принятия решений. Если речь идет об автоматическом распознавании речи, нейронном машинном переводе или преобразовании текста в речь, команда может просто подойти к коллегам из отдела обеспечения качества мобильных устройств и эффективно решить проблемы вместе.

Хотя это и помогло, но не решило всех проблем ИИ. При работе с несколькими европейскими языками неизбежно возникают ограничения в моделях ИИ, например, перевод без контекста или интонационные различия. Однако команда рассматривает их как возможность продолжать учиться и внедрять инновации.

«Моя команда никогда не останавливается на одном примере при изучении нового слова или темы. Некоторые европейские языки сложнее других, – добавляет Рос. «Если вы когда-нибудь бывали в Испании, то знаете, что испанский язык часто передается с молниеносной скоростью, и нам нужно хорошо обучить ИИ, чтобы он справлялся с этим».

Расширение Galaxy AI потребовало нового межконтинентального сотрудничества, но вскоре работа вышла за пределы европейских границ. SRPOL поддержал усилия команды из Иордании по обучению Galaxy AI арабскому языку с его многочисленными диалектами, а также работу команды из Бразилии над латиноамериканскими языками.

Важность тонкостей языковых и культурных различий находится в поле зрения разработчиков продуктов SRPOL, потому что все они могут быть замечены конечным пользователем.

«Существуют тонкие различия между европейскими культурами, которые влияют на то, насколько естественным кажется что-то конечному пользователю. Например, люди в одних странах ожидают увидеть в тексте цены символ евро (€), в то время как другие привыкли видеть его в написании – e-u-r-o-s», – говорит Агата Мария Рожицкая (Agata Maria Rozycka), руководитель отдела исследований голосового интеллекта в SRPOL. Если эти культурные нюансы не отражены в переведенном тексте, интерфейс может показаться пользователю менее интуитивным. Внедрение этих микроуровней в дизайн интерфейса может сделать технологию более естественной для представителей разных культур».

«Команда уже много лет удаленно общается и сотрудничает в разных странах, создав множество эффективных каналов связи», – говорит Марцин Мругала (Marcin Mrugala), руководитель отдела обеспечения качества мобильных устройств в SRPOL. «Мы были готовы внести свой вклад в то, чтобы Galaxy AI снизил языковые барьеры во всем мире».

Технологии для сближения культур

Управление и интеграция разнообразных языковых и культурных знаний – сложная задача, но она необходима для реализации концепции Galaxy AI компании Samsung – снижения барьеров, разделяющих людей по языковому и культурному признаку, и создания более глубоких связей.

«Мы создаем не только технологии будущего, но и команды будущего. Наши лучшие практики направлены на доработку продуктов с учетом различий между странами, но мы глубоко убеждены, что наши сходства намного превосходят наши различия, и наша технология может объединить культуры», – говорит Мругала.

«Наша цель – объединить людей, сделать их жизнь проще и упростить повседневные задачи. Мы видим, как наши семьи по-новому используют диктофон, и теперь мы можем звонить нашим друзьям из разных стран и разговаривать с ними на их родном языке. Волшебно видеть эти перемены в мире и быть их частью». Galaxy AI объединил людей из SRPOL, а теперь мы объединяем весь мир», – заключает Рожицкая.

В Технологическом институте Веллора в Ченнаи (Индия) есть лаборатория, заполненная футуристическим аудиооборудованием. Здесь можно найти манекены – известные в индустрии как симуляторы головы и туловища, – а также бинауральные микрофоны и слуховые аппараты. Они хранятся в специальных камерах, оформленных передовой системой звукопоглощения, что делает эту лабораторию первой в своем роде в Индии. Представьте себе, что подобный комплекс используется для разработки новейшего высококлассного оборудования класса High Fidelity (Hi-Fi).

Технологический институт Веллора сотрудничает с компанией Samsung в области получения и разработки данных и аналитических материалов, на основе которых создаются новейшие модели ИИ для языковых возможностей Galaxy AI. Объект был разработан в рамках программы Samsung SEED (Students Ecosystem for Engineered Data) Labs – инициативы, которая позволяет сотрудникам университетов, студентам и стажерам в Индии работать над проектами по заказу Samsung с 2021 года. Это лишь одна из нескольких университетских программ, финансируемых Samsung, в рамках которой студенты имеют возможность работать над проектами с техническими экспертами компании.

«Как студентке, мне нравится возможность работать над несколькими проектами с такой известной и уважаемой компанией, как Samsung», – говорит Яшика Иланчежиян (Yashika Ilanchezhiyan), студентка Samsung SEED. «Я получаю уверенность в том, что смогу освоить новые навыки на практике, и чувствую, что вношу реальный вклад в текущие и будущие продукты».

«Такое сотрудничество – беспроигрышный вариант», – говорит Гиридхар Джакки (Giridhar Jakki), руководитель отдела языкового ИИ в Samsung R&D Institute India – Bangalore (SRI-B). «Благодаря нашим проектам с университетами мы получаем доступ к дополнительным экспертным знаниям и пользовательским наборам данных. В результате университеты-партнеры получают инвестиции, финансовые стимулы и экспертное наставничество от Samsung».

Снижение языковых барьеров

SRI-B сотрудничает с командами по всему миру, разрабатывая языковые модели ИИ для британского, индийского и австралийского английского, а также тайского, вьетнамского и индонезийского языков. Недавно ведущие инженеры из других исследовательских центров Samsung посетили Бангалор (Индия), где команда SRI-B помогла усовершенствовать технологию для внедрения вьетнамского, тайского и индонезийского языков в Galaxy AI. Таким образом, SRI-B идеально подходит для разработки языка хинди для Galaxy AI.

«Каждый язык имеет свои трудности», – говорит Джакки. «Но если учесть, что конечная цель – дать людям возможность общаться на других языках, то это стоит всех усилий. Нам не терпелось привнести хинди в Galaxy AI».

Разработка модели искусственного интеллекта на хинди была непростой задачей. Команда должна была обеспечить учет более 20 региональных диалектов, тональных переходов, пунктуации и просторечия. Кроме того, носители хинди часто смешивают английские слова в разговоре. Это потребовало от команды провести несколько раундов обучения модели ИИ с использованием комбинации переведенных и транслитерированных данных.

«Хинди имеет сложную фонетическую структуру, включающую ретрофлексные звуки – звуки, издаваемые при выгибании языка назад во рту, – которых нет во многих других языках», – говорит Джакки. «Чтобы создать элемент синтеза речи в решении ИИ, мы тщательно проанализировали данные с участием местных лингвистов, чтобы понять все уникальные звуки, и создали специальный набор феномов для поддержки конкретных диалектов языка».

Совместные усилия Samsung и академических партнеров сыграли важную роль в разработке языковой модели ИИ, отражающей культурные нюансы регионов Индии. Технологический институт Веллоре помог получить почти миллион строк сегментированных и обработанных аудиоданных о разговорной речи, словах и командах. Данные были важнейшим компонентом для решения такой важной задачи, как включение четвертого по распространенности языка в мире в Galaxy AI. Сотрудничество с университетами позволило Samsung использовать данные высочайшего качества.

Глобальные связи приносят большие плоды

Этот проект идеально отражает философию открытого сотрудничества Samsung и веру компании в то, что обмен опытом и мнениями обеспечивает значимые инновации. В случае с SRI-B это включает в себя не только сотрудничество с академическими кругами, но и обмен знаниями и передовым опытом с другими исследовательскими центрами Samsung по всему миру.

«Я очень горжусь тем, чего мы добились с помощью наших партнеров», – говорит Джакки. «Инновации в области ИИ благодаря сотрудничеству – это важная часть нашей работы. Мы будем продолжать лучше понимать, собирать и анализировать языковые данные, чтобы в будущем больше людей могли получить доступ к инструментам ИИ».