Компания Samsung Electronics давно осознала важность этих передовых технологий и активно внедряет инновации в этих областях. Эксперты-исследователи активно работают в 14 научно-исследовательских центрах Samsung Research’s¹  и в семи глобальных центрах искусственного интеллекта по всему миру, чтобы подготовиться к будущему, развивать инновации для пользователей и создавать новейшие технологии и сервисы следующего поколения, продолжающие богатое наследие Samsung Electronics.

В этой серии этого цикла интервью с техническими экспертами из исследовательских центров Samsung мы пообщаемся с Сергеем Литвиненко, руководителем группы визуального интеллекта в Samsung R&D Institute Ukraine (SRK). Сергей пришел в Исследовательский центр Samsung на должность инженера по программному обеспечению более десяти лет назад. Далее мы расскажем о новаторской работе Литвиненко и его команды в SRK.

Не могли бы вы вкратце рассказать об Исследовательском институте Samsung в Украине и о том, какие работы там проводятся?

Наш исследовательский центр находится в Киеве, в самом сердце Украины. С момента своего его в 2009 году SRK сосредоточен на исследованиях и разработках в области технологий искусственного интеллекта, дополненной реальности (AR) / виртуальной реальности (VR) и безопасности. В центре работают выдающиеся профессионалы отрасли, которые заняты исследованиями информационной безопасности, компьютерного зрения, контекстно-зависимых интеллектуальных сервисов и многого другого. Кроме того, в рамках инициатив производственно-образовательного сотрудничества Исследовательский центр активно взаимодействует с местными университетами и школами.

Над какими именно задачами в данный момент работает ваша команда специалистов по визуальному интеллекту?

В настоящее время мы заняты фундаментальными исследованиями в области искусственного интеллекта, машинного зрения и компьютерной графики. Основная миссия нашей команды – превратить достижения в исследованиях в целостный пользовательский опыт, чтобы тем самым улучшить качество жизни людей, упростить их повседневные задачи и доставлять положительные эмоции и захватывающий опыт.

Для этого мы тесно сотрудничаем с различными командами в других странах, проводим передовые исследования в наших основных областях и работаем с различными бизнес-подразделениями, помогая им внедрить разработанные нами технологии в продукты Samsung.

В числе ключевых технологических областей вашей команды – машинное зрение и компьютерная графика. Как эти технологии способствуют улучшению и модернизации пользовательского опыта?

В прошлом году мы провели обширную работу, представив решение Smart Trainer, которое позволяет вывести домашний фитнес на совершенно новый уровень. С помощью USB-камеры, подключенной к SMART TV Samsung, система позволяет следить за вашей физической активностью, отслеживать упражнения, которые вы выполняете, и даже предлагать персональные рекомендации, учитывающие вашу физическую форму, – и все это благодаря искусственному интеллекту. Мы очень рады, что пользователи телевизоров Samsung теперь могут пользоваться этим решением у себя дома.

Как вы задействуете другие ключевые технологии, над которыми вы работаете, в свои текущие проекты, например, в очки дополненной реальности?

Сейчас мы проводим передовые исследования и разработки для решения ключевых задач в области машинного зрения и компьютерной графики, которые мы сможем использовать в очках дополненной реальности. В сфере машинного зрения, мы работаем над основными решениями, необходимыми для дополненной реальности, в том числе над одновременной локализацией объектов и их отображением (Simultaneous Localization and Mapping, SLAM), определением глубины (Depth Estimation), пониманием окружающей среды (Environment Understanding) и взаимодействие человека с компьютером (Human Computer Interaction, HCI). В компьютерной графике мы проводим исследования рендеринга с низкой задержкой для оптимизации технологий дополненной реальности и повышения производительности в играх.

Помимо технологий дополненной реальности, ваша команда участвует в разработке стилуса S Pen. Не могли бы вы подробнее рассказать о развитии этой технологии?

Одной из наших основных областей исследований и разработок и ключевых решений, над которыми мы работаем, является технология распознавания рукописного ввода для устройств, поддерживающих стилус S Pen. Сегодня этим электронным пером оснащаются устройства из линейки Galaxy. Работая над технологией распознавания рукописного ввода, мы также представили большой портфель патентов, тем самым внося свой вклад в развитие ключевых технологий Samsung.

Как вы думаете, каким образом оптимизированные технологии S Pen, созданные вашей командой для Galaxy Z Fold3, помогут улучшить опыт пользователей при работе с этим устройством?

Galaxy Z Fold3 – действительно уникальный продукт. Его большой, гибкий дисплей расширяет границы и открывает новые возможности для пользователей, а сам смартфон может стать по-настоящему продуктивным помощником в повседневной работе и учебе. В этом контексте стилус S Pen и распознавание рукописного ввода, а также обеспечение минимальных задержек при работе с ним становятся критически важными. Мы берем все самое лучшее от обычного пера и бумаги, чтобы пользователи могли получить те же самые впечатления, но уже на цифровом экране.

Каким образом технологии, разработанные вашей командой и нашли применение в Galaxy Z Fold3, улучшают качество жизни пользователей и упрощают их повседневные задачи?

Мы внедрили наше решение для прогнозирования точек на основе искусственного интеллекта (AI Based Point Prediction), чтобы минимизировать задержку ввода S Pen – это позволяет добиться того, чтобы процесс письма и рисования был еще больше похож на работу с обычным пером и бумагой. Кроме того, технологии распознавания рукописного ввода делают цифровое письмо умнее, проще и приятнее в работе. Теперь с их помощью вы можете преобразовывать свои рукописные заметки в печатные документы, распознавать таблицы, диаграммы, вставлять ссылки, решать математические задачи и многое другое – проще, чем когда-либо прежде. Подобный пользовательский опыт – вот что действительно меняет нашу повседневную жизнь.

Какие современные технологические тренды вы наблюдаете сегодня на рынке?

На наш взгляд, следующий важный кластер технологий, который будет играть заметну роль в нашей жизни – это то, что мы называем визуальной модальностью (Visual Modality): как преобразовать заметку в умную заметку, как превратить видео в умное видео и сколько полезной контекстной информации мы можем извлечь из этих процессов. И здесь множество возможностей открывается вместе с развитием дополненной реальности. Однако вместе с ними появляется и множество новых задач, которые предстоит решить. Так, «Цифровые глаза», которые полностью исследуют среду для пользователя и предоставляют хорошо структурированную контекстную информацию, способны полностью изменить нашу жизнь.

Еще один важный тренд сегодня – технологии человеко-машинного взаимодействия (HCI). Здесь, на наш взгляд, важную роль будут играть мультимодальное взаимодействие, которое является неотъемлемой составляющей HCI. Мультимодальное взаимодействие – это взаимодействия пользователя с машиной, которые используют зрение, язык и знания, и эта технология способна помочь устройству Samsung получить понимание мира, в котором оно находится.

Не могли бы вы рассказать о вашем самом запоминающемся достижении в Исследовательском центре SRK?

В июне 2021 года мы стали победителями конкурса 2021 Chart Question Answering Challenge на конференции по машинному зрению и распознаванию образов (Conference on Computer Vision and Pattern Recognition, CVPR), крупнейшей в мире конференции по машинному зрению и искусственному интеллекту. И мы действительно гордимся этим достижением.

Технологии визуального интеллекта имеют решающее значение, когда речь идет о создании новых мобильных возможностей для пользователей. А как улучшению пользовательского опыта способствуют языковые технологии?

Обработка текста на естественном языке (Natural Language Processing, NLP) – одна из самых сложных областей исследования. Мы хотели бы, чтобы каждый человек во всем мире имел возможность использовать наши решения, и для этого решающее значение имеет расширение языковой поддержки. Например, мы работаем над расширением языковой поддержки в распознавании рукописного ввода электронным пером S Pen. Наше решение теперь поддерживает более 80 языков, и скоро их перечень еще больше расширится.

¹ Samsung Research – это центр передовых исследований и разработок подразделения Samsung Consumer Electronics (CE) и подразделения IT & Mobile Communications (IM).