[Взгляд в будущее с Samsung Research] Исследовательский Центр Samsung в России: системное ПО для оптимизации пользовательского опыта и других задач ИИ

В этом цикле материалов редакция Samsung Newsroom знакомит читателей с техническими экспертами из Исследовательских центров Samsung по всему миру и рассказывает об их работе, которая напрямую влияет на  жизнь пользователей.

Герой сегодняшней статьи – Евгений Павлов, руководитель лаборатории передового системного программного обеспечения Исследовательского Центра Samsung в России (SRR). Он возглавил эту лабораторию в 2020 году после девяти лет сложнейшей работы над методами анализа кода в SRR.

Системное программное обеспечение – это программное обеспечение (ПО), выступающее в качестве основы для работы всего остального (прикладного) программного обеспечения. Например, к системному ПО  относятся операционная система (ОС) смартфона; фреймворки (библиотеки), обеспечивающие работу приложений искусственного интеллекта (ИИ); инструменты для разработки приложений и многое другое. Системное ПО отвечает за обмен данными между прикладным программным обеспечением и аппаратным обеспечением вычислительного устройства, т.е. оборудованием.

Наш коллега Бин Дай из Пекинского Исследовательского центра Samsung  поговорил с Евгением Павловым о важнейших исследованиях, которые он и его команда проводят в SRR.

В: Результаты исследований в области искусственного интеллекта и машинного обучения имеют ключевое значение для разработки и оптимизации всех видов технологий. Какую роль играет изучение системного ПО в дальнейшей активизации этих технологий?

Исследования системного ПО сегодня играют очень важную роль в машинном обучении, хотя это не всегда может быть видно конечному пользователю. Во-первых, фреймворки машинного обучения не всегда оптимально работают на аппаратном обеспечении и процессорах общего назначения, поэтому их необходимо оптимизировать таким образом, чтобы учитывать различные особенности оборудования и использовать дополнительные расширения набора команд центрального процессора.

Кроме того, последние тенденции в сфере ИИ подразумевают интеграцию специализированных процессоров для ускорения работы нейронных сетей. Многие компании  разрабатывают специализированные ускорители для нейронных сетей, называемые нейронными процессорами (NPU). Для оптимальной обработки моделей машинного обучения необходимо преобразовать модель нейросети в набор инструкций для конкретного ускорителя. Эти преобразования моделей нейронных сетей обычно автоматизируются с помощью компиляторов нейронных сетей, и для разработки этих компиляторов требуется глубокое понимание архитектуры NPU. Поэтому мы, разработчики системного ПО, активно участвуем в их создании: у нас есть глубокое понимание того, как работает компьютерное оборудование.

Другими словами, в связи с этим изменением отраслевых требований задача инженеров системного ПО смещается от оптимизации программ общего назначения к оптимизации программ на основе искусственного интеллекта и машинного обучения.

Не могли бы вы вкратце рассказать об Исследовательском центре Samsung в России и о том, какие работы там проводятся?

Исследовательский центр Samsung в России (SRR) — один из старейших зарубежных центров компании, он работает в Москве с 1993 года. В настоящее время мы в SRR концентрируемся на развитии нашей экспертизы и возможностей в трех основных областях научно-исследовательской работы: сенсорные решения, обработка изображений средствами искусственного интеллекта и системное ПО. Исследовательский центр Samsung в России имеет большой опыт в сфере  датчиков, в том числе в разработке аппаратного обеспечения и алгоритмов, а также коммерциализации, в частности, биометрических решений и решений для отслеживания биологических показателей. Специалисты SRR активно участвовали в разработке биометрических методов аутентификации по радужной оболочке глаза, лицу и отпечаткам пальцев, а также технологий оценки биологических показателей для носимых устройств. SRR внес свой вклад в улучшение хорошо известных функций Super Slow Motion и режима ночной съемки  на камерах смартфонов, последовательно развивая синергию между оптическими технологиями и искусственным интеллектом в решениях для обработки изображений средствами ИИ.

Я считаю, что системное ПО – одна из самых многообещающих областей исследований, проводимых в настоящее время в Центре. Опираясь на наше глубокое понимание различных аппаратных средств и операционных систем, а также на сильный инженерно-технический потенциал, мы делаем все возможное, чтобы быть поставщиком основных технологий системного ПО для всего бизнеса компании.

Вы рассказали о достижениях SRR в целом, а над чем вы работаете в настоящее время?

Мы проводим обширные исследования новых перспективных направлений для нашей команды, чтобы лучше понять новейшие тенденции в сфере системного ПО, которые вполне могут прийти на смену традиционным подходам уже в ближайшем будущем.

Кроме того, наша лаборатория работает над проектом, связанным с созданием масштабируемой инфраструктуры vRAN 5G для поддержки нескольких типов сетей, а также над другими проектами в области технологий компиляции для операционных систем Android и Tizen, углубленной разработки ОС и создания средств разработки программного обеспечения (SDK) для работы с ИИ на устройстве (On-Device AI).

Помимо руководства лабораторией Advanced System SW, я также возглавляю проект Центра по созданию платформы On-Device AI под названием ONE или On-Device Neural Engine. Этот проект осуществляется в сотрудничестве с лабораторией On-Device Lab в исследовательском центре Samsung Research, и одна из ключевых особенностей этого проекта заключается в том, что он реализуется Samsung как проект с открытым исходным кодом на github.com.

Встроенные в устройства технологии искусственного интеллекта (On–device AI) и расширенное системное ПО имеют решающее значение для предоставления пользователям мобильных устройств надежных и инновационных решений. Не могли бы вы подробнее объяснить, почему это так, и рассказать, в каких направлениях вы проводите исследования в лаборатории Advanced System SW Lab?

Системное ПО играет ключевую роль в работе приложений и во взаимодействии пользователей с устройствами. Системное ПО – это нижний уровень, который находится между аппаратным обеспечением устройства и пользовательскими приложениями, то есть является основой для всего остального программного обеспечения. Пользователи могут не видеть системное ПО в действии, поскольку их взаимодействие с мобильными приложениями сводится к простому взаимодействию с интерфейсом, но «под капотом» их любимых приложений находится множество уровней программной логики – например, распознавание касаний экрана на уровне ядра системы, а затем прорисовка соответствующего окна через графическую библиотеку. Если на каком-то из этих уровней распознавания происходит задержка, это влияет на производительность всей системы, и в конечном счете отражается на взаимодействии с пользователем. Поэтому при создании системного ПО предъявляются жесткие требования к потреблению памяти и скорости исполнения программ.

Возможность интеграции специализированных аппаратных ускорителей в мобильные устройства уже заметно повлияла на разработку приложений, использующих ИИ. Эта интеграция улучшает качество изображения, блокировку устройств с помощью биометрии, работу интеллектуальной клавиатуры и многое другое – технологии, к которым пользователи в наши дни так привыкли, что было бы трудно представить себе мобильное устройство без них. Дальнейшее развитие ускорителей сделает наши мобильные устройства еще умнее и проще в использовании и откроет новые возможности для приложений на базе ИИ, подобные которым  раньше можно было увидеть только в научно-фантастических фильмах.

Наша команда также активно участвует в исследованиях по улучшению системного ПО за счет применения технологий ИИ для оптимизации настроек мобильного устройства под требования конкретного пользователя, например, за счет адаптивных настроек в зависимости от местоположения пользователя, его поведения или шаблонов использования устройства.

Какие основные преимущества для пользователей, на ваш взгляд, открывает внедрение технологий ИИ в мобильные устройства?

On-Device AI – относительно новый класс технологий, которые тесно связаны с растущей популярностью приложений на основе искусственного интеллекта. Первоначально такие приложения выполнялись с использованием высокопроизводительного облачного сервера, на котором выполнялись все сложные вычисления, но по мере роста производительности мобильных процессоров и появления специализированных аппаратных ускорителей приложения стали исполнять алгоритмы ИИ непосредственно на мобильном устройстве, а не на удаленном сервере.

Запуск нейронных сетей в приложениях, использующих технологию On-Device AI, имеет ряд несомненных преимуществ для пользователей. Во-первых, это позволяет сократить время отклика при работе с приложением, ведь теперь нет необходимости отправлять данные на сервер, а затем ждать результата. Во-вторых, сохраняется конфиденциальность пользовательских данных, поскольку вся обработка осуществляется на устройстве. И, в-третьих, такие приложения не требуют подключения к интернету.