Инновации на основе искусственного интеллекта: новый взгляд на качество звука ТВ

Не секрет, что Samsung Electronics — мировой лидер в производстве телевизоров на протяжении уже 17 лет — также занимает ведущие позиции на рынке саундбаров с 2013 года. Секрет успеха Samsung — это слаженная работа инженеров-разработчиков, которые предлагают новые способы потребления контента. В основе разработок команды лежит прогресс Samsung в изучении и использовании возможностей искусственного интеллекта для улучшения звука и изображения.

После выхода первого материала о важности аппаратной составляющей для достижения высочайшего качества звука мы снова встретились с инженерами лаборатории аудиоустройств, чтобы поближе познакомиться с алгоритмами искусственного интеллекта Samsung.

Искусственный интеллект для повышения качества звука: настройка под окружающее пространство.

 «Как ни странно, но я не припомню, чтобы инженеры, работающие со звуком, интересовались искусственным интеллектом, когда он только начал обретать популярность», — отметил СонМин Ким (Sunmin Kim), руководитель лаборатории аудиоустройств. Тем не менее, идея применения искусственного интеллекта для улучшения звука ТВ шесть лет назад положила начало исследованиям в области использования ИИ в аудиотехнологиях.

Вскоре все изменилось. С внедрением нейронного процессора (NPU) во флагманских телевизорах Samsung появилась возможность использовать потенциал искусственного  интеллекта. Команда ускорила процесс машинного обучения, что позволило максимально быстро добиться первых успехов. Ким уверен, что искусственный интеллект продолжит развиваться и улучшать впечатления от просмотра, совершенствуя звук разными способами.

▲ «Искусственный интеллект играет решающую роль во взаимодействии с пользователем перед экраном», — прокомментировал Ким.

Одна из разработок Samsung в области искусственного интеллекта — алгоритм глубокого обучения, который отделяет основной голос на экране от других звуков. Раньше функция эквалайзера просто позволяла регулировать высокие, средние и низкие частоты в пределах воспринимаемого человеком диапазона частот — примерно от 20 до 20 000 Гц.

Телевизоры и дисплеи 2023 выходят на новый уровень детализации, обеспечивая более глубокое и детальное воспроизведение, анализируя содержание каждой сцены и акцентируя внимание на различных звуковых элементах, включая голоса, фоновую музыку и звуковые эффекты. Кроме того, процесс оптимизации происходит «за кадром», что позволяет пользователям наслаждаться оптимальным звучанием без особых усилий.

SpaceFit Sound: калибровка звука под ваше пространство

Для оптимизации звучания телевизора необходимо учитывать условия прослушивания. Новейшие телевизоры Samsung оснащены функцией SpaceFit Sound¹, которая анализирует окружающее пространство и настраивает звук с помощью искусственного интеллекта. Технология использует встроенный микрофон телевизора, чтобы оценить различные факторы, такие как расстояние между устройством и стеной или акустические свойства комнаты, влияющие на отражение звуковых волн. После анализа пространства искусственный интеллект автоматически настраивает оптимальный баланс звука.

▲ SpaceFit Sound использует искусственный интеллект для изучения акустических свойств окружающего пространства и настройки звука на основе проведенного анализа.

«В результате исследований мы обнаружили определенные частотные интервалы, которые наиболее подвержены изменениям из-за окружающих условий, — поделился Кибом Ким (Kibeom Kim). — Встроенный микрофон выявляет изменения, вызванные отражением звука, например, от поверхности ковра или наоборот, голых стен, чтобы оптимизировать настройки динамиков независимо от расположения телевизора».

«Обычно в телевизорах используется набор специальных звуков для проверки аудионастроек через микрофон. SpaceFit Sound в отличие от традиционных технологий использует для анализа условий прослушивания и настройки настоящий видеоконтент, — пояснил Ким. — Эта технология была разработана для оптимизации звука в реальном времени, поскольку работает автоматически».

▲ SpaceFit Sound от Samsung стала первой в отрасли технологией, получившей сертификат Spatial Sound Optimization от VDE².

В знак признания стремления Samsung к инновациям и созданию устройств, обеспечивающих лучший опыт пользователей, Verband Deutscher Elektrotechniker (VDE) присудила SpaceFit Sound первый в отрасли сертификат Spatial Sound Optimization в 2021 году.

Q-Symphony 3.0: подключение нескольких устройств для создания трехмерного звука

Современные пользователи хотят, чтобы домашний кинопросмотр был максимально приближен к просмотру в кинотеатре. Это касается как качества изображения, так и качества акустики. Q-Symphony³ — это проприетарная технология Samsung, которая обеспечивает гармоничное взаимодействие между динамиками телевизора и подключенным саундбаром для достижения максимально насыщенного и яркого звучания. Как следует из названия, функция позволяет синхронизировать работу источников аудиосигнала подобно двум группам одного оркестра, создавая единую захватывающую звуковую сцену. В частности, динамичное и трехмерное звуковое поле формируется благодаря саундбару, который воспроизводит сигнал от основных источников звука в кадре, а динамики телевизора добавляют объем за счет воспроизведения звуковых эффектов.

▲ Q-Symphony позволяет саундбару и динамикам телевизора работать в связке, создавая гармоничную звуковую сцену для полного погружения.

Несмотря на кажущуюся простоту задумки, Q-Symphony использует сложные технологии искусственного интеллекта для точной синхронизации. Это необходимо, чтобы добиться идеальной звуковой гармонии и избавиться от эха. За несколько лет инженеры Samsung усовершенствовали технологию Q-Symphony 1.0, изначально использующую верхние динамики телевизора, до версии Q-Symphony 2.0, которая управляет всеми динамиками с улучшенной технологией разделения каналов для большей глубины и полного погружения.

Последняя версия технологии Q-Symphony 3.0 выводит звук на новый уровень за счет использования нейронного процессора и возможности искусственного интеллекта отделить голос от общего аудиосигнала в реальном времени. Анализ и оптимизация различных составляющих аудиодорожки, таких как голос, фоновая музыка и звуковые эффекты, позволяет добиться трехмерного звучания с учетом громкости и типа контента.

Алгоритм искусственного интеллекта Samsung обеспечивает мощное и динамичное звучание при воспроизведении любого входящего сигнала через многоканальные системы саундбара или телевизора.

▲ «Q-Symphony — это революционная технология от Samsung, которая может мастерски синхронизировать громкость и задержку динамиков, создав идеальную гармонию», — прокомментировал Ким.

«Звук, который предлагает Q-Symphony, настолько захватывает, что зрители могут почувствовать, что они находятся на съемочной площадке в окружении всех этих звуков, которые буквально оживают благодаря технологиям», — добавил Ким.

Объединение изображения и звука для оптимального просмотра

Сегодня искусственный интеллект занимает ключевую позицию в стратегии развития аудиотехнологий Samsung. Его функционал применяется во многих продуктах. Широкое использование возможностей ИИ позволило создать не только Q-Symphony и SpaceFit Sound, но и другие технологии. Среди них функция Active Voice Amplifier⁴, которая автоматически повышает четкость и громкость диалога, технология OTS Pro — разработка, изменяющая направление звука на основе движения объектов и людей в кадре.

Эти функции реализованы благодаря двум технологиям искусственного интеллекта: первая анализирует контент, а вторая разделяет звук. Нейронные процессоры работают как со звуковыми, так и с визуальными данными, чтобы создать идеальное аудиосопровождение для изображения на экране. Несмотря на сложность, Samsung удалось реализовать функции объединения аудио- и видеосигналов благодаря включению в команду инженеров из разных подразделений, работающих с изображением, звуком и не только.

Будущее звука: преображение акустического восприятия в новые впечатления.

▲ (Слева направо) СонгСу Пак (Seoungsu Park), СонМин Ким (Sunmin Kim) и Кибеом Ким (Kibeom Kim) из лаборатории аудиоустройств Samsung работают над воспроизведением звука таким, каким его задумали авторы

У лаборатории аудиоустройств Samsung есть четкая цель, которой сотрудники руководствуются при создании всех инноваций: максимально точно воссоздать звук, который задумали авторы контента, с учетом предпочтений пользователей. Искусственный интеллект — важный инструмент, который позволяет добиться этой цели.

Руководитель лаборатории СонМин Ким считает, что качество звука — это лишь часть успеха: «Качество звука — это важно, но главным приоритетом для нас всегда являлся фокус на пользовательский опыт. Настройка звука и другие функции, прежде всего, должны быть удобными в использовании».

СонгСу Пак отметил, что 70% звука зависит от динамиков телевизора, а оставшиеся 30% —  от влияния пространства вокруг: «Мы продолжим использовать новейшие системы измерения и алгоритмы искусственного интеллекта для анализа пространства и параметров, чтобы добиться максимального качества звука».

В заключение Кибеом Ким подчеркнул революционность технологии Q-Symphony: «Q-Symphony обладает неограниченным потенциалом для создания идеальной звуковой гармонии. Мы продолжим работать над синхронизацией между устройствами и расширять возможности наших пользователей».

Samsung стремится предоставлять лучший опыт с помощью инновационных продуктов, уделяя главное внимание потребностям пользователей. Закрепляя 17-летнее лидерство в производстве телевизоров, Samsung продолжит улучшать впечатления от просмотра контента и внедрять инновации в области звука.

¹  «СпейсФит Саунд».

²  Сертификат VDE Spatial Sound Optimization («Спэйшиал Саунд Оптимизейшн») присуждается продуктам, обеспечивающим высокое качество звука, независимо от внешних факторов.

³  «Кью-Симфони».

⁴ «Эктив Войс Амплифайер».