Кривая обучения, часть 4: Новая модель ИИ и эволюционирующий язык

Исследование Samsung в Китае – часть серии статей о людях и инновациях, стоящих за демократизацией мобильного ИИ

В то время как Samsung продолжает создавать первоклассные мобильные устройства с искусственным интеллектом, мы посещаем исследовательские центры Samsung по всему миру, чтобы узнать, как Galaxy AI позволяет большему количеству пользователей максимально раскрыть свой потенциал. Galaxy AI теперь поддерживает 16 языков, так что еще больше людей смогут расширить свои языковые возможности даже в автономном режиме благодаря переводу на устройстве в таких функциях, как Live Translate, Interpreter, Note Assist и Browsing Assist. Но что включает в себя разработка языка ИИ? В прошлый раз мы посетили Вьетнам, чтобы узнать о подготовке данных, которые используются для обучения моделей искусственного интеллекта. На этот раз мы видим, как команды сделали Galaxy AI уникальным предложением как для материкового Китая, так и для Гонконга.

Стремительный рост числа инструментов ИИ, использующих большие языковые модели (LLM), наблюдается во всем мире, и Китай не является исключением. Поскольку бот ERNIE от Baidu и MiracleVision от Meitu стали популярными в Китае, китайский научно-исследовательский институт Samsung сотрудничает с обеими компаниями, чтобы помочь создать функции ИИ для Galaxy в этой стране.

Китайский научно-исследовательский институт Samsung в Гуанчжоу (SRC-G) и Пекине (SRC-B) работал над тем, чтобы люди, говорящие на мандарине в Китае, могли пользоваться Galaxy AI так же, как и другие пользователи по всему миру, несмотря на то, что внутренние технологии выглядят совершенно иначе. Команда воспользовалась специализированными ресурсами китайских диалектов от сторонних партнеров и создала уникальное решение Galaxy AI для Китая.

«У нас есть преимущество: мы можем сочетать лучшие мировые практики с местной китайской практикой, а также создавать новые функции и постоянно совершенствовать их благодаря ежедневному общению с китайскими потребителями», – говорит Хайронг Чжан (Hairong Zhang), руководитель группы инноваций в области программного обеспечения в SRC-G. «Имея богатый опыт разработки Galaxy S24, я горжусь тем, как наша команда сотрудничала с местными китайскими компаниями, занимающимися разработкой искусственного интеллекта, такими как Baidu и Meitu, чтобы создать решение, которое найдет отклик в Китае».

Вначале командам пришлось привыкнуть к стилю работы друг друга и сгладить первые недостатки информационной асимметрии. Дайцзюнь Чжан (Daijun Zhang), глава SRC-B, создал целевую группу, чтобы обеспечить соблюдение графика разработки и быстрое продвижение проекта к поставленным целям. Глава SRC-B создал целевую группу, чтобы соблюдения графика разработки проекта и быстрого продвижения к поставленным целям.

Благодаря опыту пекинской команды в создании масштабных моделей и плодотворному сотрудничеству со сторонними партнерами, все функции генеративного ИИ были успешно запущены в Китае. В результате мы получили решение, которое учитывает местные особенности и специфику рынка, например Touch to Search.

Расширение знаний о китайском языке для развития кантонского диалекта

Китайский язык для материкового Китая (мандарин) появился на Galaxy AI с запуском Galaxy S24 в январе 2024 года. Но работа китайского научно-исследовательского института Samsung была далека до завершения. Перед командой также стояла задача разработать модель ИИ для гонконгского китайского языка (кантонского) – диалекта, который опирается на работу, уже проделанную для мандаринского, но привносит совершенно новый набор языковых особенностей.

При разработке для кантонского языка команда разработчиков в Китае столкнулась с серьезными культурными проблемами, которые необходимо было решить, чтобы полностью локализировать для рынка. Первый культурный феномен – это два набора систем для письма и речи. Местные жители Гонконга используют грамматику и выражения, похожие на мандаринские, когда пишут, но в повседневном общении используют совершенно другую разговорную грамматику. Кроме того, в кантонском языке девять тонов для произношения, в то время как в мандаринском – четыре.

Еще один культурный феномен заключается в том, что сам кантонский диалект развивается в ногу со временем. Добавьте к этому тот факт, что люди часто смешивают кантонский и английский языки в разговоре, и станет ясно, почему было сложно создавать тестовые примеры и проверять языковые пакеты.

«Кантонский – это очень уникальный диалект, который варьируется в разных кантоноязычных регионах», говорит Цзин Ли (Jing Li), который руководит операцией по тестированию решения для ИИ на кантонском языке. «Некоторые сленги, фразы, словарный запас и даже тональность варьируются от места к месту. Поэтому мы провели большую работу по проверке данных, специфичных для Гонконга, а также вычитали десятки тысяч соответствующих тестовых примеров».

Учитывая все эти сложности, SRC-G и SRC-B совместно работали над поддержкой глубокого кода, используя смесь кантонского и английского языков для распознавания речи, одновременно поддерживая письменные и устные выражения в машинном переводе и отражая текущее произношение в синтезе речи.

Культурное влияние коммуникации

Когда Galaxy AI запустил опцию китайского (гонконгского) языка, отзывы покупателей показали, что напряженная работа команды разработчиков Samsung была оправдана.

Как для материкового Китая, так и для Гонконга деятельность Samsung в области Galaxy AI демонстрирует важность присутствия и опыта глобального бренда на местном уровне, а также силу открытого сотрудничества с другими организациями. В Гонконге кантонский язык является ключевой частью культурной идентичности тех, кто там живет. Вот почему команде было так важно создать правильную языковую модель ИИ.

«Язык и общение имеют решающее значение в каждом регионе и во всех сферах жизни», говорит Генри Уот (Henry Wat), руководитель инженерной группы Samsung Electronics Hong Kong. «Независимо от языка, любой инструмент, который помогает людям общаться, бесценен. Я верю, что наша работа имеет смысл».

В следующем выпуске программы «Кривая обучения» мы отправимся в Бразилию, чтобы увидеть, как команда работает, преодолевая культурные различия и границы, чтобы сделать Galaxy AI доступным для большего количества людей.