Японский научно-исследовательский институт Samsung (SRJ) был создан как центр исследований и разработок, ориентированный на аппаратное обеспечение, такое как бытовая техника и дисплеи. Поскольку спрос на инновации в области искусственного интеллекта растет во всем мире, с конца прошлого года в SRJ в Йокогаме работает лаборатория по разработке программного обеспечения для создания Galaxy AI Live Translate, который автоматически переводит голосовые вызовы в режиме реального времени.

«Live Translate особенно эффективен в сценариях путешествий, например, для посетителей Олимпийских игр в Париже в этом году», – говорит Такаюки Акасако (Takayuki Akasako), руководитель отдела искусственного интеллекта компании SRJ. «В настоящее время мы разрабатываем программу распознавания речи для людей, которые одновременно осматривают достопримечательности и наблюдают за Олимпийскими играми в Париже; обучая программу распознавания речи узнавать об играх и расположении стадионов в Париже 2024 года».

Понимание контекста при распознавании голоса

Для тех, кто уже пользуется функциями перевода в Galaxy AI, такой функционал может показаться очень полезным. Но разработчики, воплотившие эти функции в жизнь, знают, что возможность общаться во время путешествий за границей – это не то, что можно воспринимать как должное.

Команда отметила, что в японском языке больше омонимов, чем в некоторых других языках. Например, «палочки для еды» (Хаси, 箸) и «мост» (Хаси, 橋) относительно легко различить из-за разницы в интонации, Но такие слова, как «осмотр достопримечательностей» (Канко, 観光), «обычаи» (Канко, 慣行), «общественность» (Кокё, 公共) и «процветание» (Кокё, 好況), следует определять, исходя из контекста.

«Судить становится сложнее, когда контекст неоднозначен, например, названия местностей и людей, собственные существительные, диалекты и числа», – говорит Акасако. «Поэтому для повышения точности распознавания речи необходимо большое количество данных».

«Мы всегда ищем способы своевременной настройки модели ИИ для ключевых событий и моментов», – продолжает Акасако. «С большим количеством новых комбинаций названий мест и видов деятельности важно, чтобы контекст оставался понятным, когда люди используют Galaxy AI».

Трудности сбора эффективных данных

Хотя осознание типов необходимых данных также важно, сбор данных сам по себе является сложной задачей.

Ранее команда SRJ использовала записанные человеком данные для обучения механизма распознавания речи для Live Translate, что не приводило к сбору достаточного количества данных.

Samsung Gauss, разработанная компанией Большая языковая модель (LLM), использует скрипты для структурирования предложений со словами или фразами, относящимися к каждому сценарию. Данные, собранные с помощью Samsung Gauss, не только записываются людьми, но и генерируются синтезатором речи text-to-speech (TTS), с помощью которого люди осуществляют окончательную проверку качества. Используя этот метод, команда добилась значительного повышения эффективности сбора данных.

«Каждый раз, когда проблема выявляется и решается, точность распознавания речи значительно повышается», – говорит Акасако. «Независимо от того, где находятся люди, наша цель – соединить их друг с другом, а инструменты на базе Galaxy AI обеспечат более увлекательное и эффективное общение».

В польском научно-исследовательском институте Samsung (SRPOL) есть поговорка: «День в SRPOL длится 96 часов». Это относится к глобальной роли центра как одного из крупнейших и наиболее быстро развивающихся центров исследований и разработок в регионе, часто работающего в четырех разных часовых поясах. Расположенный в самом центре Европы и охватывающий множество европейских и мировых рынков, SRPOL работает над моделями автоматического распознавания речи, нейронного машинного перевода и преобразования текста в речь для более чем 30 языков. Когда речь зашла о внедрении 10 языков в Galaxy AI, этот опыт позволил команде легко совместить культурные особенности с глобальными технологиями Samsung.

SRPOL имеет многолетний опыт работы в области обработки естественного языка. Уникальность компании заключается в том, что она может работать над любым языком благодаря увлеченной команде и ее инструментам, таким как краудсорсинговая платформа, обеспечивающая быструю и гибкую разработку.

«Сотрудничество на разных континентах означает постоянный сбор данных, аннотирование и исследования, что стало для нас настоящим удовольствием», – говорит Корнель Янковский (Kornel Jankowski), руководитель отдела декодирования речи в SRPOL. «Мы работали с таким количеством языков, что наша команда приобрела универсальные, не зависящие от языка навыки. Когда нас просят поддержать новую языковую модель, все относятся к этому так: О, вау, мы должны выучить еще один язык, это будет весело!».

Европейский центр разработки языков ИИ

Язык является краеугольным камнем культуры и общения во всей Европе, независимо от того, используется ли он в технологиях. Однако он представляет собой уникальную проблему для команды SRPOL, которая разрабатывает модели ИИ для европейских языков.

«Каждый язык и культура, частью которой он является, сопряжены с трудностями, которые заставляют нас пересмотреть свое восприятие того или иного вопроса», – объясняет Адам Рос (Adam Ros), руководитель отдела искусственного интеллекта компании SRPOL. К таким трудностям относятся непереводимость некоторых фраз и работа с идиоматическими выражениями, которые могут не иметь прямых эквивалентов в других языках».

Команда рассматривала эти проблемы как возможность превратить SRPOL в европейский центр разработки языков ИИ. Самое большое преимущество этого – сокращение пути коммуникации между различными отделами и, что особенно важно, пути принятия решений. Если речь идет об автоматическом распознавании речи, нейронном машинном переводе или преобразовании текста в речь, команда может просто подойти к коллегам из отдела обеспечения качества мобильных устройств и эффективно решить проблемы вместе.

Хотя это и помогло, но не решило всех проблем ИИ. При работе с несколькими европейскими языками неизбежно возникают ограничения в моделях ИИ, например, перевод без контекста или интонационные различия. Однако команда рассматривает их как возможность продолжать учиться и внедрять инновации.

«Моя команда никогда не останавливается на одном примере при изучении нового слова или темы. Некоторые европейские языки сложнее других, – добавляет Рос. «Если вы когда-нибудь бывали в Испании, то знаете, что испанский язык часто передается с молниеносной скоростью, и нам нужно хорошо обучить ИИ, чтобы он справлялся с этим».

Расширение Galaxy AI потребовало нового межконтинентального сотрудничества, но вскоре работа вышла за пределы европейских границ. SRPOL поддержал усилия команды из Иордании по обучению Galaxy AI арабскому языку с его многочисленными диалектами, а также работу команды из Бразилии над латиноамериканскими языками.

Важность тонкостей языковых и культурных различий находится в поле зрения разработчиков продуктов SRPOL, потому что все они могут быть замечены конечным пользователем.

«Существуют тонкие различия между европейскими культурами, которые влияют на то, насколько естественным кажется что-то конечному пользователю. Например, люди в одних странах ожидают увидеть в тексте цены символ евро (€), в то время как другие привыкли видеть его в написании – e-u-r-o-s», – говорит Агата Мария Рожицкая (Agata Maria Rozycka), руководитель отдела исследований голосового интеллекта в SRPOL. Если эти культурные нюансы не отражены в переведенном тексте, интерфейс может показаться пользователю менее интуитивным. Внедрение этих микроуровней в дизайн интерфейса может сделать технологию более естественной для представителей разных культур».

«Команда уже много лет удаленно общается и сотрудничает в разных странах, создав множество эффективных каналов связи», – говорит Марцин Мругала (Marcin Mrugala), руководитель отдела обеспечения качества мобильных устройств в SRPOL. «Мы были готовы внести свой вклад в то, чтобы Galaxy AI снизил языковые барьеры во всем мире».

Технологии для сближения культур

Управление и интеграция разнообразных языковых и культурных знаний – сложная задача, но она необходима для реализации концепции Galaxy AI компании Samsung – снижения барьеров, разделяющих людей по языковому и культурному признаку, и создания более глубоких связей.

«Мы создаем не только технологии будущего, но и команды будущего. Наши лучшие практики направлены на доработку продуктов с учетом различий между странами, но мы глубоко убеждены, что наши сходства намного превосходят наши различия, и наша технология может объединить культуры», – говорит Мругала.

«Наша цель – объединить людей, сделать их жизнь проще и упростить повседневные задачи. Мы видим, как наши семьи по-новому используют диктофон, и теперь мы можем звонить нашим друзьям из разных стран и разговаривать с ними на их родном языке. Волшебно видеть эти перемены в мире и быть их частью». Galaxy AI объединил людей из SRPOL, а теперь мы объединяем весь мир», – заключает Рожицкая.

В Технологическом институте Веллора в Ченнаи (Индия) есть лаборатория, заполненная футуристическим аудиооборудованием. Здесь можно найти манекены – известные в индустрии как симуляторы головы и туловища, – а также бинауральные микрофоны и слуховые аппараты. Они хранятся в специальных камерах, оформленных передовой системой звукопоглощения, что делает эту лабораторию первой в своем роде в Индии. Представьте себе, что подобный комплекс используется для разработки новейшего высококлассного оборудования класса High Fidelity (Hi-Fi).

Технологический институт Веллора сотрудничает с компанией Samsung в области получения и разработки данных и аналитических материалов, на основе которых создаются новейшие модели ИИ для языковых возможностей Galaxy AI. Объект был разработан в рамках программы Samsung SEED (Students Ecosystem for Engineered Data) Labs – инициативы, которая позволяет сотрудникам университетов, студентам и стажерам в Индии работать над проектами по заказу Samsung с 2021 года. Это лишь одна из нескольких университетских программ, финансируемых Samsung, в рамках которой студенты имеют возможность работать над проектами с техническими экспертами компании.

«Как студентке, мне нравится возможность работать над несколькими проектами с такой известной и уважаемой компанией, как Samsung», – говорит Яшика Иланчежиян (Yashika Ilanchezhiyan), студентка Samsung SEED. «Я получаю уверенность в том, что смогу освоить новые навыки на практике, и чувствую, что вношу реальный вклад в текущие и будущие продукты».

«Такое сотрудничество – беспроигрышный вариант», – говорит Гиридхар Джакки (Giridhar Jakki), руководитель отдела языкового ИИ в Samsung R&D Institute India – Bangalore (SRI-B). «Благодаря нашим проектам с университетами мы получаем доступ к дополнительным экспертным знаниям и пользовательским наборам данных. В результате университеты-партнеры получают инвестиции, финансовые стимулы и экспертное наставничество от Samsung».

Снижение языковых барьеров

SRI-B сотрудничает с командами по всему миру, разрабатывая языковые модели ИИ для британского, индийского и австралийского английского, а также тайского, вьетнамского и индонезийского языков. Недавно ведущие инженеры из других исследовательских центров Samsung посетили Бангалор (Индия), где команда SRI-B помогла усовершенствовать технологию для внедрения вьетнамского, тайского и индонезийского языков в Galaxy AI. Таким образом, SRI-B идеально подходит для разработки языка хинди для Galaxy AI.

«Каждый язык имеет свои трудности», – говорит Джакки. «Но если учесть, что конечная цель – дать людям возможность общаться на других языках, то это стоит всех усилий. Нам не терпелось привнести хинди в Galaxy AI».

Разработка модели искусственного интеллекта на хинди была непростой задачей. Команда должна была обеспечить учет более 20 региональных диалектов, тональных переходов, пунктуации и просторечия. Кроме того, носители хинди часто смешивают английские слова в разговоре. Это потребовало от команды провести несколько раундов обучения модели ИИ с использованием комбинации переведенных и транслитерированных данных.

«Хинди имеет сложную фонетическую структуру, включающую ретрофлексные звуки – звуки, издаваемые при выгибании языка назад во рту, – которых нет во многих других языках», – говорит Джакки. «Чтобы создать элемент синтеза речи в решении ИИ, мы тщательно проанализировали данные с участием местных лингвистов, чтобы понять все уникальные звуки, и создали специальный набор феномов для поддержки конкретных диалектов языка».

Совместные усилия Samsung и академических партнеров сыграли важную роль в разработке языковой модели ИИ, отражающей культурные нюансы регионов Индии. Технологический институт Веллоре помог получить почти миллион строк сегментированных и обработанных аудиоданных о разговорной речи, словах и командах. Данные были важнейшим компонентом для решения такой важной задачи, как включение четвертого по распространенности языка в мире в Galaxy AI. Сотрудничество с университетами позволило Samsung использовать данные высочайшего качества.

Глобальные связи приносят большие плоды

Этот проект идеально отражает философию открытого сотрудничества Samsung и веру компании в то, что обмен опытом и мнениями обеспечивает значимые инновации. В случае с SRI-B это включает в себя не только сотрудничество с академическими кругами, но и обмен знаниями и передовым опытом с другими исследовательскими центрами Samsung по всему миру.

«Я очень горжусь тем, чего мы добились с помощью наших партнеров», – говорит Джакки. «Инновации в области ИИ благодаря сотрудничеству – это важная часть нашей работы. Мы будем продолжать лучше понимать, собирать и анализировать языковые данные, чтобы в будущем больше людей могли получить доступ к инструментам ИИ».

Мы находимся в начале самого захватывающего и, возможно, одного из самых исторических моментов в развитии технологий. Наступила эра мобильного искусственного интеллекта, которая ознаменовалась для Samsung появлением функций Galaxy AI в серии Galaxy S24, представляющей из себя наши первые ИИ-смартфоны.

Мобильная революция с помощью гибридного подхода к ИИ

В стремлении привнести в серию Galaxy S24 реальные преимущества технологии генеративного ИИ мы применили гибридный подход к интеграции ИИ. Искусственный интеллект открывает множество возможностей, и мы считаем, что мобильные устройства являются основной точкой доступа для раскрытия его потенциала, поскольку пользователи по всему миру продолжают полагаться на свои телефоны для решения большинства повседневных задач.

Важнейшая роль, которую мобильные устройства играют в повседневной жизни, означает, что они являются очень личными предметами, которые люди используют во время многих важных и запоминающихся моментов. Мы понимаем такое поведение и считаем, что смартфоны должны улучшаться, чтобы пользователи могли насладиться важными моментами своей жизни более простым, интуитивным и даже эпичным способом. Мы также признаем важность конфиденциальности, поэтому предоставляем пользователям полный контроль над тем, чем они делятся и что сохраняют в тайне.

Мы считаем, что наш гибридный подход – это наиболее практичное и надежное решение для удовлетворения всех этих потребностей и позволяет Samsung быть в авангарде. Мы обеспечиваем пользователям баланс между мгновенным реагированием и дополнительной защитой конфиденциальности ИИ на устройстве и универсальностью облачного ИИ, благодаря открытому сотрудничеству с ведущими отраслевыми партнерами, предлагая разнообразные функции, необходимые им в повседневной жизни.

Расширение возможностей с помощью искусственного интеллекта на устройствах

Мы сделали функцию Live Translate на базе искусственного интеллекта на устройстве, потому что голосовые звонки – это самая основная функция смартфона, а также интимное и личное средство общения. Samsung стремится предоставить пользователям возможность общаться без языковых барьеров и в то же время обеспечить безопасность и конфиденциальность каждый коммуникации.

Чтобы сделать эту функцию реальностью, наша команда исследователей и разработчиков проделала огромную работу. От определения правильного размера языковых моделей ИИ до обучения и тестирования в реальных сценариях, наши научно-исследовательские организации в рамках направления MX business бросали вызов самим себе и выходили за пределы того, что мы считали возможным, чтобы эта функция была доступна полностью на устройстве.

Ключевую роль сыграли также глобальные сети исследований и разработок Samsung по всему миру, которые отвечают за взращивание лучших талантов и разработку основных технологий в каждом регионе. Исследовательские центры Samsung по всему миру, включая Польшу, Китай, Индию и Вьетнам, посвятили себя разработке и расширению языков, поддерживаемых Galaxy AI. Языки очень культурны, современны и локализованы, поэтому, чтобы помочь людям преодолеть языковые барьеры и общаться более естественно, роль наших местных исследовательских офисов становится еще более важной, открывая новые возможности для пользователей в большем количестве регионов, чем когда-либо прежде.

Все эти усилия позволили Samsung предложить нечто совершенно новое, чем я с нетерпением хочу поделиться. Вскоре Samsung расширит возможности Galaxy AI за пределы собственного приложения Samsung для звонков, распространив Live Translate на другие сторонние приложения для сообщений и поддержки голосовых вызовов. Таким образом, вы сможете оставаться на связи с друзьями или коллегами, общаясь в своих любимых приложениях на разных языках.

А поскольку эта функция интегрирована в нашу встроенную в устройство модель искусственного перевода языков, пользователи смогут общаться без барьеров, не беспокоясь о том, что при использовании Live Translate их личные данные могут быть переданы за пределы телефона.

Я ожидаю, что все больше и больше функций мобильного ИИ будут внедряться в мобильные устройства по мере того, как интеллектуальная вычислительная мощность новейших чипов, особенно NPU, будет развиваться с молниеносной скоростью, наряду с другими технологиями. Это позволит большему числу людей использовать ИИ и сделать каждый день более комфортным и спокойным.

Развитие Galaxy AI для будущих потребностей уже сегодня

Эти планы – часть расширения наших обязательств в отношении Galaxy AI и вступления в следующую фазу эры мобильного ИИ. Внедрение Galaxy AI в серию Galaxy S24 было только началом. Чтобы обеспечить совершенно новый и уникальный опыт использования ИИ, мы будем и дальше оптимизировать возможности Galaxy AI для грядущих складных устройств. Складные устройства – это самый универсальный и гибкий форм-фактор Samsung Galaxy, и в сочетании с Galaxy AI эти две взаимодополняющие технологии откроют новые возможности.

Samsung также стремится расширить возможности Galaxy AI во всей экосистеме Galaxy так, как это может сделать только Samsung. Эра мобильного ИИ развивается стремительными темпами, и Samsung ускоряет инновации в области мобильного ИИ, чтобы удовлетворить потребности не только сегодняшнего, но и завтрашнего дня.

В то время как Samsung продолжает создавать первоклассные мобильные устройства с искусственным интеллектом, мы посещаем исследовательские центры Samsung по всему миру, чтобы узнать, как Galaxy AI позволяет большему количеству пользователей максимально раскрыть свой потенциал. Galaxy AI теперь поддерживает 16 языков, так что еще больше людей смогут расширить свои языковые возможности даже в автономном режиме благодаря переводу на устройстве в таких функциях, как Live Translate, Interpreter, Note Assist и Browsing Assist. Но что включает в себя разработка языка ИИ? В прошлый раз мы посетили Вьетнам, чтобы узнать о подготовке данных, которые используются для обучения моделей искусственного интеллекта. На этот раз мы видим, как команды сделали Galaxy AI уникальным предложением как для материкового Китая, так и для Гонконга.

Стремительный рост числа инструментов ИИ, использующих большие языковые модели (LLM), наблюдается во всем мире, и Китай не является исключением. Поскольку бот ERNIE от Baidu и MiracleVision от Meitu стали популярными в Китае, китайский научно-исследовательский институт Samsung сотрудничает с обеими компаниями, чтобы помочь создать функции ИИ для Galaxy в этой стране.

Китайский научно-исследовательский институт Samsung в Гуанчжоу (SRC-G) и Пекине (SRC-B) работал над тем, чтобы люди, говорящие на мандарине в Китае, могли пользоваться Galaxy AI так же, как и другие пользователи по всему миру, несмотря на то, что внутренние технологии выглядят совершенно иначе. Команда воспользовалась специализированными ресурсами китайских диалектов от сторонних партнеров и создала уникальное решение Galaxy AI для Китая.

«У нас есть преимущество: мы можем сочетать лучшие мировые практики с местной китайской практикой, а также создавать новые функции и постоянно совершенствовать их благодаря ежедневному общению с китайскими потребителями», – говорит Хайронг Чжан (Hairong Zhang), руководитель группы инноваций в области программного обеспечения в SRC-G. «Имея богатый опыт разработки Galaxy S24, я горжусь тем, как наша команда сотрудничала с местными китайскими компаниями, занимающимися разработкой искусственного интеллекта, такими как Baidu и Meitu, чтобы создать решение, которое найдет отклик в Китае».

Вначале командам пришлось привыкнуть к стилю работы друг друга и сгладить первые недостатки информационной асимметрии. Дайцзюнь Чжан (Daijun Zhang), глава SRC-B, создал целевую группу, чтобы обеспечить соблюдение графика разработки и быстрое продвижение проекта к поставленным целям. Глава SRC-B создал целевую группу, чтобы соблюдения графика разработки проекта и быстрого продвижения к поставленным целям.

Благодаря опыту пекинской команды в создании масштабных моделей и плодотворному сотрудничеству со сторонними партнерами, все функции генеративного ИИ были успешно запущены в Китае. В результате мы получили решение, которое учитывает местные особенности и специфику рынка, например Touch to Search.

Расширение знаний о китайском языке для развития кантонского диалекта

Китайский язык для материкового Китая (мандарин) появился на Galaxy AI с запуском Galaxy S24 в январе 2024 года. Но работа китайского научно-исследовательского института Samsung была далека до завершения. Перед командой также стояла задача разработать модель ИИ для гонконгского китайского языка (кантонского) – диалекта, который опирается на работу, уже проделанную для мандаринского, но привносит совершенно новый набор языковых особенностей.

При разработке для кантонского языка команда разработчиков в Китае столкнулась с серьезными культурными проблемами, которые необходимо было решить, чтобы полностью локализировать для рынка. Первый культурный феномен – это два набора систем для письма и речи. Местные жители Гонконга используют грамматику и выражения, похожие на мандаринские, когда пишут, но в повседневном общении используют совершенно другую разговорную грамматику. Кроме того, в кантонском языке девять тонов для произношения, в то время как в мандаринском – четыре.

Еще один культурный феномен заключается в том, что сам кантонский диалект развивается в ногу со временем. Добавьте к этому тот факт, что люди часто смешивают кантонский и английский языки в разговоре, и станет ясно, почему было сложно создавать тестовые примеры и проверять языковые пакеты.

«Кантонский – это очень уникальный диалект, который варьируется в разных кантоноязычных регионах», говорит Цзин Ли (Jing Li), который руководит операцией по тестированию решения для ИИ на кантонском языке. «Некоторые сленги, фразы, словарный запас и даже тональность варьируются от места к месту. Поэтому мы провели большую работу по проверке данных, специфичных для Гонконга, а также вычитали десятки тысяч соответствующих тестовых примеров».

Учитывая все эти сложности, SRC-G и SRC-B совместно работали над поддержкой глубокого кода, используя смесь кантонского и английского языков для распознавания речи, одновременно поддерживая письменные и устные выражения в машинном переводе и отражая текущее произношение в синтезе речи.

Культурное влияние коммуникации

Когда Galaxy AI запустил опцию китайского (гонконгского) языка, отзывы покупателей показали, что напряженная работа команды разработчиков Samsung была оправдана.

Как для материкового Китая, так и для Гонконга деятельность Samsung в области Galaxy AI демонстрирует важность присутствия и опыта глобального бренда на местном уровне, а также силу открытого сотрудничества с другими организациями. В Гонконге кантонский язык является ключевой частью культурной идентичности тех, кто там живет. Вот почему команде было так важно создать правильную языковую модель ИИ.

«Язык и общение имеют решающее значение в каждом регионе и во всех сферах жизни», говорит Генри Уот (Henry Wat), руководитель инженерной группы Samsung Electronics Hong Kong. «Независимо от языка, любой инструмент, который помогает людям общаться, бесценен. Я верю, что наша работа имеет смысл».

В следующем выпуске программы «Кривая обучения» мы отправимся в Бразилию, чтобы увидеть, как команда работает, преодолевая культурные различия и границы, чтобы сделать Galaxy AI доступным для большего количества людей.

Samsung является первопроходцем в области мобильного ИИ премиум-класса. В целях изучения того, как Galaxy AI максимально раскрывает потенциал своих пользователей, мы посетили исследовательские центры Samsung по всему миру. Теперь Galaxy AI поддерживает 16 языков, позволяя людям расширить свои языковые возможности даже в автономном режиме благодаря переводу на устройстве в таких функциях, как Live Translate, Interpreter, Note Assist и Browsing Assist. Не так давно мы посетили Иорданию, чтобы ознакомиться со сложностями разработки модели ИИ для арабского языка, обладающего множеством диалектов. А сейчас мы отправимся во Вьетнам, чтобы выяснить, как осуществляется подготовка данных для обучения моделей ИИ.

Какая разница между призраком, могилой и матерью во вьетнамском языке? Для языка, на котором говорят 97 миллионов человек по всему миру, разница несущественная. Каждое из этих слов переводится как “ma”, “mả” и “má”, и различается только по тону. Это наглядно показывает, с каким трудом модели ИИ могут обучаться языку, учитывая, что они не могут на глаз определить контекст и эмоции разговора, а также намерения собеседников.

Вьетнамский научно-исследовательский институт Samsung (SRV) использовал высокоточные данные, чтобы помочь своей модели ИИ правильно распознавать даже самые тонкие языковые различия.

От качества используемых данных напрямую зависит точность автоматического распознавания речи (ASR), нейромашинного перевода (NMT) и преобразования текста в речь (TTS) – процессов, которые помогают функциям Galaxy AI, таким как Live Translate, Interpreter, Chat Assist и Browsing Assist, преодолевать языковые барьеры.

Тайфун испытаний

“Вьетнамский – сложный и разнообразный язык со множеством выражений, многие из которых сложно передать”, – говорит Нго Хенг Тхай, руководитель отдела NMT в SRV. Он оказался особенно сложным для разработки из 16 языков, которые поддерживает Galaxy AI.

“Как по мне, разработка модели ИИ для вьетнамского языка оказалась более сложной задачей, чем борьба с нашими тайфунами!” – добавляет он, а затем рассказывает о трудностях, с которыми пришлось столкнуться в процессе разработки.

Являясь тональным языком, вьетнамский язык имеет шесть разных тонов. В приведенном выше примере со словом “ma” видно, что небольшие нюансы в произношении могут кардинально изменить значение слов. В связи с этим потребовался тщательный и детальный подход к развитию модели ИИ.

“При разбивке схожих по звучанию слов одно слово состоит из нескольких коротких сегментов, или, так называемых “блоков”, – говорит Буй Нгок Тунг, руководитель направления ASR в SRV. “Модель ИИ различает короткие звуковые кадры продолжительностью около 20 миллисекунд, определяя, какие слова соответствуют тем или иным блокам. Следовательно, очень важно приложить максимум усилий на ранних этапах процесса обучения ИИ”.

Кроме того, для вьетнамского языка характерны омофоны и омонимы. В разговоре люди обычно полагаются на контекст и невербальные элементы, что позволяет им различать слова, звучащие или пишущиеся одинаково, но имеющие разное значение. Однако модели ИИ необходимо научить точно определять и различать тональность и похожие слова.

“Эта задача не из простых”, – объясняет Тхай. “Наряду с объемом, данные должны быть точными, чтобы обеспечить возможность распознавания языковых нюансов, существующих во вьетнамском языке”.

Тщательная подготовка

Процесс проверки данных состоит из трех этапов. Во-первых, необходимо пересмотреть и откорректировать аудиозаписи и тексты, использованные для обучения модели ИИ. Далее этот набор данных проходит случайную проверку на предмет общего качества. И наконец, набор данных проходит нормализацию и очистку перед началом обучения.

«Мы провели ряд испытаний, чтобы проверить точность нашего набора данных», – говорит Нгуен Мань Дуй, руководитель отдела TTS в SRV, ответственный за создание базы данных. «В ходе работы мы столкнулись с рядом неожиданных проблем, в том числе с ошибками в написании слов в сценариях, фоновым шумом или неправильным произношением при звукозаписи. Нами было потрачено немалое количество времени на доработку и улучшение наших обучающих данных».

Важнейшей частью процесса улучшения данных является работа команды инженеров по обеспечению качества программного обеспечения (SQE). Команда играет важную роль в тестировании и улучшении качества данных и тесно сотрудничает с командой специалистов по развитию языка ИИ, что также помогает в реализации задач.

Помимо особенностей вьетнамского языка, существует недостаток общедоступных данных по сравнению с более широко распространенными языками. “Это еще одна причина, по которой этап проверки данных столь важен”, – добавляет он. “Поскольку у нас было небольшое количество источников, каждая информация должна была быть полностью достоверной. У нас не было права на ошибку”.

Более того, модель ИИ для вьетнамского языка должна учитывать как тональные, так и региональные различия. Для повышения точности модели ИИ команда собрала огромное количество данных о северном, центральном и южном акцентах вьетнамского языка, что позволило получить огромный объем информации для улучшения и проверки данных.

Постоянное совершенствование

Спустя несколько месяцев кропотливой работы разработчики из SRV завершили проект, после чего вьетнамский язык стал одним из первых языков, поддерживаемых Galaxy AI. И все же, несмотря на этот успех, команда продолжает неустанно работать над улучшением возможностей вьетнамского Galaxy AI.

“Мы продолжаем совершенствовать модель ИИ, учитывая отзывы пользователей о релевантности слов и фраз в Galaxy AI”, – говорит Тран Туан Минь, руководитель отдела разработки языка ИИ в SRV. “Это только начало нашего пути в более открытый мир, и перед нами еще много новых открытий”.

В следующем выпуске рубрики “Кривая обучения” мы отправимся в Китай, чтобы выяснить, как происходит обучение и настройка моделей ИИ.

Обучение языка для модели ИИ – сложный процесс, особенно при наличии у него множества диалектов. Именно с такой задачей столкнулась команда Samsung R&D Institute Jordan (SRJO). «Арабский» был добавлен в языковой пакет для функций Galaxy AI, таких как Live Translate, и команде пришлось учитывать различные арабские диалекты, распространенные на Ближнем Востоке и в Северной Африке, каждый из которых отличается по произношению, словарному запасу и грамматике.

Состоящий в шестерке самых распространенных языков мира, арабский язык ежедневно используют более 400 миллионов человек.¹ Язык подразделяется на две формы: Фусха (современный стандартный арабский язык) и Аммия (диалекты арабского языка). На публичных и официальных мероприятиях и в новостных передачах используется Фусха, а Аммия чаще применяется в повседневных разговорах. Арабский язык распространен в более чем 20 странах, и в настоящее время в регионе насчитывается около 30 диалектов.

Неписаные правила

Взяв в расчет разнообразие арабских диалектов, команда SRJO использовала ряд приемов для выявления и обработки уникальных лингвистических особенностей, присущих каждому из них. Такой подход был крайне важен для того, чтобы Galaxy AI мог понимать и реагировать на региональные нюансы.

Мохаммад Хавелех, руководитель группы по преобразованию текста в речь (TTS) на арабском языке, подмечает, что в отличие от других языков, произношение объекта в арабском зависит от субъекта и глагола в предложении. Целью команды выступила разработка модели, которая понимает все диалекты и отвечает на стандартном арабском.

Text-to-Speech (TTS) – это компонент функции Live Translate от Galaxy AI, позволяющий пользователям взаимодействовать с носителями разных языков, переводя устную речь и преобразовывая ее в письменный текст, а затем воспроизводя ее вокально. Команда TTS столкнулась с уникальной проблемой, вызванной особенностями арабского языка.

Диакритические знаки, используемые в арабском языке, служат руководством для произношения слов в некоторых контекстах, например, в религиозных текстах, поэзии и книгах для изучения языка. Они широко распространены среди носителей языка, но отсутствуют в повседневном письме. Это затрудняет преобразование исходного текста в фонемы – основные звуковые единицы, из которых строится речь.

По словам Хавелеха, для правильного использования диакритических знаков не хватает качественных и надежных наборов данных. Команда должна была разработать нейронную модель, которая могла бы предсказывать и восстанавливать недостающие диакритические знаки с высокой точностью.

Нейронные модели работают аналогично человеческому мозгу. Чтобы предсказать диакритические знаки, модель должна изучить множество арабских текстов, выучить правила языка и понять, как слова используются в различных контекстах. Например, произношение слова может сильно отличаться в зависимости от описываемого действия или рода. Интенсивное обучение команды способствовало повышению точности модели арабского TTS.

Улучшенное понимание

Команде SRJO также пришлось заниматься сбором аудиозаписей диалектов из различных источников, которые необходимо было расшифровать, отмечая уникальные звуки, слова и фразы. «Была собрана команда носителей диалектов, которые хорошо разбирались в их нюансах и особенностях», – говорит Айя Хасан (Ayah Hasan), чья команда отвечала за создание базы данных. «Прослушивая записи, они вручную преобразовывали произнесенные слова в текст».

Так, была проведена крайне важная работа по усовершенствованию процесса автоматического распознавания речи (Automatic Speech Recognition), чтобы Galaxy AI мог справляться с разнообразием арабских диалектов. ASR играет ключевую роль в обеспечении возможностей Galaxy AI для понимания и реагирования в режиме реального времени.

«Создание системы ASR, поддерживающей несколько диалектов в одной модели, – сложная задача», – говорит Мохаммад Хамдан (Mohammad Hamdan), руководитель проекта ASR. «Оно требует глубокого понимания тонкостей языка, тщательного отбора данных и передовых методов моделирования».

Кульминация инноваций

После нескольких месяцев планирования, разработки и тестирования команда была готова выпустить арабский язык в качестве языковой опции для Galaxy AI, что позволило гораздо большему количеству людей общаться без границ. Благодаря ним, сервисы Galaxy AI стали доступными для носителей арабского языка, что снизило языковые и культурные барьеры между людьми по всему миру. Кроме того, новые передовые методы, разработанные ими, можно распространить по всему миру. Команда на этом не останавливается – она продолжает совершенствовать свои модели и повышать качество языковых возможностей Galaxy AI.

В следующем эпизоде мы отправимся во Вьетнам, чтобы узнать, как совершенствуются языковые данные. А также, что необходимо для обучения эффективной модели ИИ?

Арабский – лишь один из многих языков и диалектов, поддерживаемых Galaxy AI и доступных для загрузки в приложении «Настройки». Языковые функции Galaxy AI, такие как Live Translate и Interpreter, доступны на устройствах Galaxy с обновлением One UI 6.1 от Samsung.²

¹ ЮНЕСКО, Всемирный день арабского языка 2023, https://www.unesco.org/en/world-arabic-language-day
² One UI 6.1 был впервые выпущен на устройствах серии Galaxy S24, а затем распространился и на другие устройства Galaxy, включая серии S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 и Tab S8.

В то время как Samsung продолжает создавать первоклассные мобильные устройства с искусственным интеллектом, мы посещаем исследовательские центры Samsung по всему миру, чтобы узнать, как Galaxy AI позволяет большему количеству пользователей максимально раскрыть свой потенциал. Galaxy AI теперь поддерживает 16 языков, так что еще больше людей смогут расширить свои языковые возможности даже в автономном режиме благодаря переводу на устройстве в таких функциях, как Live Translate, Interpreter, Note Assist и Browsing Assist. Но что включает в себя разработка языка ИИ? В этой серии мы рассмотрим проблемы работы с мобильным ИИ и способы их преодоления. Сперва мы отправимся в Индонезию, чтобы узнать, с чего начинается обучение ИИ новому языку.

Первый шаг – это определение целей, по мнению команды Samsung R&D Institute Indonesia (SRIN). «Отменный ИИ начинается с качественных и релевантных данных. Каждый язык требует своего способа обработки, поэтому мы глубоко погружаемся в языковую среду, чтобы понять языковые потребности и уникальные условия нашей страны», – Джунайдилла Фадлил (Junaidillah Fadlil), руководитель отдела ИИ в SRIN, его команда недавно добавила поддержку индонезийского языка (Bahasa Indonesia) в Galaxy AI. «Развитие местных языков должно происходить под руководством интуиции и науки, поэтому каждый процесс добавления языков в Galaxy AI начинается с планирования, какая информация нам нужна и какую мы можем получить законным и этичным путем».

Функции Galaxy AI, такие как Live Translate, выполняют три основных процесса: автоматическое распознавание речи (ASR), нейромашинный перевод (NMT) и преобразование текста в речь (TTS). Каждый процесс требует отдельного набора информации.

ASR, например, требует обширных записей речи в различных условиях, каждая из которых сопровождается точной транскрипцией текста. Варьирование уровня фонового шума позволяет учитывать различные условия окружающей среды. «Недостаточно просто добавлять шумы к записям», – объясняет Мучлисин Ади Сапутра (Muchlisin Adi Saputra), руководитель группы ASR. «В дополнение к языковым данным, которые мы получаем от авторизованных сторонних партнеров, нам приходится выходить в кофейни или на рабочие места, чтобы записать свои голоса. Это позволяет нам достоверно передавать уникальные звуки из реальной жизни, например, голоса людей или стук клавиатуры».

Необходимо также учитывать постоянно меняющуюся природу языков. Сапутра добавляет: «Мы должны быть в курсе новейшего сленга и того, как он используется, и чаще всего мы находим его в социальных сетях»!

Далее NMT требуются данные для обучения переводу. «Перевод индонезийского языка – сложная задача», – говорит Мухамад Файсал (Muhamad Faisal), руководитель группы NMT. «Он широко использует контекстуальные и неявные значения, опираясь на социальные и ситуационные подсказки, поэтому нам нужны многочисленные переведенные тексты, в которых ИИ мог бы искать новые, иностранные слова, собственные существительные и идиомы – любую информацию, которая помогает ИИ понять контекст и правила общения».

Для TTS требуются записи, которые охватывают диапазон голосов и тонов, с дополнительным контекстом о том, как части слов звучат в различных обстоятельствах. «Хорошая запись голоса может сделать половину работы и покрыть все необходимые фонемы (единицы звука в речи) для модели ИИ», – добавляет Харитс Абдуррохман (Harits Abdurrohman), руководитель группы TTS. «Если актер озвучивания отлично справился со своей работой на предыдущем этапе, внимание переключается на совершенствование модели ИИ для четкого произношения конкретных слов».

Сильнее вместе

Для планирования большого объема данных требуются огромные ресурсы, поэтому SRIN тесно сотрудничала с экспертами в области лингвистики. «Эта задача требует творческого подхода, изобретательности и знаний как в области индонезийского языка, так и в области машинного обучения», – размышляет Фадлил. «Философия открытого сотрудничества Samsung сыграла большую роль в достижении поставленной цели, как и масштабы нашей деятельности и история развития ИИ».

Работая с другими исследовательскими центрами Samsung по всему миру, команда SRIN смогла быстро перенять передовой опыт и преодолеть сложности, связанные с созданием целевых данных. Кроме того, сотрудничество способствовало развитию не только технологий, но и культуры. Когда команда SRIN присоединилась к своим коллегам в Бангалоре, Индия, они наблюдали за местными постными обычаями, создавая более глубокие связи и расширяя свое понимание различных культур.

Для команды проект по расширению языка Galaxy AI приобрел новое значение. «Мы особо гордимся нашими достижениями, поскольку это был наш первый проект в области ИИ, и он не станет последним, поскольку мы продолжаем совершенствовать наши модели и улучшать качество результатов», – заключает Фадлил. «Это расширение не только отражает наши ценности открытости, но и уважает и учитывает нашу культурную самобытность через язык».

В следующем выпуске программы The Learning Curve мы отправимся в научно-исследовательский институт Samsung в Иордании, чтобы побеседовать с командой, возглавлявшей проект Galaxy AI по изучению арабского языка. Узнайте о сложностях создания и обучения модели ИИ для языка с различными диалектами.