Дай присоединился к SRC-B в 2020 году, чтобы вместе со своими коллегами работать над сжатием сетей (network compression), а также над проектированием и исследованием моделей на устройствах. В сегодняшнем материале вы сможете познакомиться с теми новаторскими технологиями, которые Бин Дай и его команда разрабатывают в SRC-B.

Технологии на основе искусственного интеллекта, в том числе обработка текстов на естественных языках и акустический анализ, являются передовыми областями исследований, которые постоянно открывают новые возможности. Какую роль для этих инноваций играют фундаментальные исследования в области машинного обучения?

Машинное обучение играет решающую роль в том, чтобы все эти технологи были доступны непосредственно пользователям. Компьютерное зрение и распознавание речи – два примера, где искусственный интеллект сегодня используется наиболее успешно. Однако сегодняшние алгоритмы ИИ требуют огромных вычислительных ресурсов, что затрудняет применение современных алгоритмов на мобильных устройствах. Чтобы решить эту проблему, наша лаборатория искусственного интеллекта работает над созданием  небольших моделей с высокой производительностью, как с теоретической, так и с практической точки зрения. Таким образом, наши фундаментальные исследования направлены на развитие всех видов технологий на основе искусственного интеллекта.

Не могли бы вы вкратце рассказать о Пекинском исследовательском центре Samsung и о той работе, которая там проводится?

Исследовательский центр SRC-B – это один из передовых научно-исследовательских центров компании Samsung Electronics, который был основан в 2000 году и стал первым научно-исследовательским центром Samsung в Китае. SRC-B специализируется на передовых технологиях, таких как искусственный интеллект и телекоммуникационные технологии следующего поколения, сфера его деятельности охватывает самые разные области, от машинного обучения, компьютерного зрения, обработки текстов на естественных языках и голосового интеллекта до стандартизации 3GPP и многого другого. Кроме того, мы активно занимаемся развитием промышленно-академического партнерства. В апреле 2019 года в Центре была создана лаборатория искусственного интеллекта, которая ведет фундаментальные исследования машинного обучения, и мы постоянно ищем новые способы для применения результатов наших исследований к продуктам Samsung.

Вы добились немалых успехов в своей научно-исследовательской деятельности, над чем вы работаете в настоящий момент?

Сегодня наши специалисты находятся в поиске наилучшего способа повысить точность алгоритмов ИИ при одновременном снижении сложности вычислений и ресурсов, используемых для них. Для достижения этих целей мы в настоящее время работаем над двумя исследовательскими темами, которые позволяют делать точные прогнозы с меньшим объемом данных: это эквивариантные сети, являющиеся частью более широкой темы геометрического глубокого обучения, и динамическое построение выводов (dynamicinference). В наборах данных, используемых в компьютерном зрении, существует множество видов симметрии, что позволяет обеспечить точное измерение глубины, как это могут делать человеческие глаза – например, симметрия в изображениях или в облаках точек, полученных от LiDAR-систем. В эквивариантной сети эти симметрии учитываются при проектировании сети. Таким образом, сеть способна достичь лучшей производительности с меньшими ресурсами, поскольку мы специально рассмотрели и проанализировали внутреннюю структуру набора данных.

Динамическое построение выводов – тоже очень интересное направление исследований. В отличие от традиционных методов, в которых используется фиксированная архитектура для всех выборок данных, динамический подход к построению выводов позволяет адаптивно определять, сколько ресурсов использовать для каждой выборки данных. Соответственно, при этом будет использовать меньше вычислительных ресурсов для анализа простых выборок и больше – для сложных. Это позволяет значительно сократить средний объем используемых вычислительных ресурсов.

Фундаментальные исследования в области искусственного интеллекта расширяют возможности всех видов приложений, ориентированных на пользователя, от компьютерного зрения до распознавания речи. Не могли бы вы подробнее объяснить, почему это так, а также о рассказать о направлении исследований, которые вы и лаборатория AI Lab выбрали для оптимизации работы с мобильными устройствами?

В сегодняшнюю эпоху Интернета мы буквально окружены данными. А там, где есть данные, появляются новые знания. Алгоритмы искусственного интеллекта – лучший инструмент, позволяющий получать из данных новые знания, и использовать эти знания для улучшения нашей жизни.

Мы разработали алгоритм сжатия сетей, основанный на теории «информационного горлышка» (information bottleneck), согласно которой лишние детали можно удалить из зашумленных входных данных, как бы «проталкивая» информацию через бутылочное горлышко и оставляя только самые подходящие под общее определение признаки. Этот метод был применен к нескольким задачам, включая распознавание видео, сегментацию изображений и машинный перевод. Мы также активно сотрудничаем с другими лабораториями в SRC-B с целью создания более мощных алгоритмов искусственного интеллекта, включая решения Neural Architecture Search (NAS) и Once-For-All (OFA).

В чем вы видите основные выгоды для пользователей от объединения всех базовых мобильных технологий с технологиями искусственного интеллекта на основе машинного обучения?

Технологии искусственного интеллекта на основе машинного обучения могут значительно улучшить жизнь пользователей по трем основным направлениям. Во-первых, существует множество удобных функций, которые просто не могут работать без технологий искусственного интеллекта. Например, автоматическая диалоговая система, реализованная на мобильных устройствах, в своей основе использует алгоритмы искусственного интеллекта. Другие, более традиционные методы позволяют справиться только с очень небольшим количеством заранее заданных вопросов.

Во-вторых, методы искусственного интеллекта способны значительно повысить производительность многих приложений по сравнению с их производительностью при использовании только традиционных технологий. Например, после применения глубоких нейронных сетей к реализованной в камере функции нейронной обработки сигналов и анализа изображений (image signal processing, ISP) качество фотографий, сделанных на эту камеру, становится значительно лучше.

В-третьих, технологии искусственного интеллекта позволяют реализовать сервисы, о которых пользователи раньше даже не подозревали. Например, ИИ способен разрабатывать программное обеспечение для конкретного пользователя на основе конкретных предпочтений этого пользователя, а это означает, что взаимодействие между ним и устройством может постоянно улучшаться.

Как ваша работа сочетается с работой, выполняемой остальной частью Исследовательского центра Samsung в Пекине и, возможно, даже в других Центрах исследований и разработок по всему миру? Какой синергетический эффект при этом достигается? Как объединение этих усилий позволяет сделать жизнь пользователей более удобной?

Мы постоянно сотрудничаем с другими подразделениями в SRC-B. В последнее время мы много работаем с нашей командой специалистов по обработке визуальных данных (VisualComputing), чтобы применить наш алгоритм сжатия информации на основе метода «информационного горлышка» к распознаванию видео и задачам сегментирования, что привело к значительному уменьшению размеров моделей без какого-либо падения производительности. В 2021 году мы вместе с ними участвовали как единая команда в конкурсе по поиску нейронной архитектуры (Neural Architecture Search, NAS), состоявшимся в рамках Конференции по компьютерному зрению и распознаванию образов (CVPR), и заняли на этом конкурсе 1-е место.

Мы также активно работаем с нашей командой специалистов по анализу естественных языков (Language Intelligence), чтобы сжать их модель машинного перевода, что призвано облегчить коммерциализацию их приложений.  

Мы также верим, что сможем улучшить результаты исследований и оптимизировать работу приложений путем дальнейшего общения, обсуждения и сотрудничества с центрами по разработкам в области искусственного интеллекта по всему миру.

Какие основные тенденции вы наблюдаете сейчас в вашей отрасли? Как вы используете эти тренды в своих исследованиях, проводимых в китайском Исследовательском центре Samsung в Пекине?

Сегодня в нашей области можно выделить много актуальных тем. Эффективное проектирование архитектуры нейронных сетей, самостоятельное обучение сетей и графические нейронные сети – вот лишь несколько примеров таких тем.

Мы уделяем много внимания проблемам сжатия сетей и созданию миниатюрных моделей, которые в конечном итоге будут полезны для приложений на мобильных устройствах. Сегодня существует множество мобильных устройств, таких как смартфоны, которые обладают очень ограниченными вычислительными ресурсами, а это означает, что на них невозможно запустить огромные модели, предназначенные для предоставления сервисов на этих устройствах. Поэтому моя команда сосредоточена на разработке моделей, подходящих для подобных устройств.

Существуют разные способы получить такие легкие, но мощные модели. Например, упрощение структуры сети, квантование, извлечение знаний (knowledge distillation), поиск архитектуры нейронной сети и динамическое построение выводов – это всего лишь несколько отраслевых областей, в которых мы работаем сегодня для достижения этой цели.

Каким вашим достижением в Исследовательском центре Samsung в Пекине вы гордитесь больше всего?

Вместе с командой специалистов по исследованиям в области коммуникаций мы разработали алгоритмы искусственного интеллекта для беспроводной связи. Это решение заняло первое место на конкурсе Wireless Communication AI Competition (WAIC) в этом году, который является официальным соревнованием для специалистов по 5G + AI в Китае с участием более 600 команд со всего мира и который проводится Китайской академией информационных и коммуникационных технологий (CAICT). Я горжусь этим достижением и считаю, что оно подтверждает мою веру в то, что технологии 5G в сочетании с искусственным интеллектом является направлением исследований с большим потенциалом.

В этой серии материалов редакция Samsung Newsroom представила шесть технических руководителей из Исследовательских центров Samsung по всему миру, которые активно участвуют в создании передовых технологий. Благодаря консолидации исследовательской и опытно-конструкторской работы наших экспертов из Исследовательских центров Samsung, лишь некоторые из которых были представлены в этом цикле, Samsung может предложить пользователям в своих устройствах технологии и возможности нового уровня. В настоящее время Samsung Research координирует сотрудничество между экспертами в 14 исследовательских центрах в 12 странах мира.

В будущем сотрудничество станет ключевым фактором в продвижении исследований передовых технологий. И Samsung намерена продолжать свою работу для достижения лучшего будущего, опираясь на пользовательские инновации, вдохновение для которых компания черпает в их повседневных задачах.