Работа, описанная в документе, объединяет такие области, как искусственный интеллект, взаимодействие с пользователем и эмоциональные вычисления. Все это для того, чтобы сделать опыт потребителей богаче, за счет нетривиального сочетания произведений искусства и музыки.

«Мы предложили метод, который учитывает стиль картины (классический, барокко, импрессионизм и тому подобное) и эмоции, которые она передает, чтобы автоматически подбирать музыку, которая лучше всего подходит для сопровождения изображения», — отметил ведущий автор статьи, штатный инженер Samsung Advanced R&D Group Анант Байджал.

Исследование рассматривается для коммерческого применения во флагманских продуктах Samsung, в том числе в недавно анонсированных телевизорах Neo QLED, а также интерьерных устройствах вроде The Frame.

В режиме Ambient на QLED ТВ и в режиме «Картина» на The Frame можно отображать произведения искусства, когда устройства не используются. Научно-исследовательская группа хочет усовершенствовать эту функцию, добавив возможность автоматически подбирать музыку на основе анализа изображения на экране. Первые испытания технологии подтверждают эффективность их подхода.

«Когда на телевизор загружают изображение, например, картину или фотографию, наши алгоритмы искусственного интеллекта изучают его и рекомендуют подходящий трек в стриминговом сервисе, которым пользуется владелец устройства», — добавил Байджал.

В ходе дальнейшей работы над технологией планируется добавить в алгоритм и другие показатели: погода, время суток, местоположение и активность пользователя, а также его персональные предпочтения.

Исследования сотрудников Advanced R&D охватывают множество дисциплин, в том числе искусственный интеллект, big data и сетевые возможности. Они также отвечают за разработку футуристических концепций и прототипов продуктов. Samsung Electronics подала множество международных патентных заявок, касающихся концепций, компонентов и сценариев использования данной технологии.

1 ICCE — флагманская конференция IEEE организации Consumer Technology Society (ранее IEEE Consumer Electronics Society), которая ежегодно проходит в Лас-Вегасе, США, одновременно с мероприятием Consumer Electronics Show (CES).