После выхода первого материала о важности аппаратной составляющей для достижения высочайшего качества звука мы снова встретились с инженерами лаборатории аудиоустройств, чтобы поближе познакомиться с алгоритмами искусственного интеллекта Samsung.

Искусственный интеллект для повышения качества звука: настройка под окружающее пространство.

 «Как ни странно, но я не припомню, чтобы инженеры, работающие со звуком, интересовались искусственным интеллектом, когда он только начал обретать популярность», — отметил СонМин Ким (Sunmin Kim), руководитель лаборатории аудиоустройств. Тем не менее, идея применения искусственного интеллекта для улучшения звука ТВ шесть лет назад положила начало исследованиям в области использования ИИ в аудиотехнологиях.

Вскоре все изменилось. С внедрением нейронного процессора (NPU) во флагманских телевизорах Samsung появилась возможность использовать потенциал искусственного  интеллекта. Команда ускорила процесс машинного обучения, что позволило максимально быстро добиться первых успехов. Ким уверен, что искусственный интеллект продолжит развиваться и улучшать впечатления от просмотра, совершенствуя звук разными способами.

▲ «Искусственный интеллект играет решающую роль во взаимодействии с пользователем перед экраном», — прокомментировал Ким.

Одна из разработок Samsung в области искусственного интеллекта — алгоритм глубокого обучения, который отделяет основной голос на экране от других звуков. Раньше функция эквалайзера просто позволяла регулировать высокие, средние и низкие частоты в пределах воспринимаемого человеком диапазона частот — примерно от 20 до 20 000 Гц.

Телевизоры и дисплеи 2023 выходят на новый уровень детализации, обеспечивая более глубокое и детальное воспроизведение, анализируя содержание каждой сцены и акцентируя внимание на различных звуковых элементах, включая голоса, фоновую музыку и звуковые эффекты. Кроме того, процесс оптимизации происходит «за кадром», что позволяет пользователям наслаждаться оптимальным звучанием без особых усилий.

SpaceFit Sound: калибровка звука под ваше пространство

Для оптимизации звучания телевизора необходимо учитывать условия прослушивания. Новейшие телевизоры Samsung оснащены функцией SpaceFit Sound¹, которая анализирует окружающее пространство и настраивает звук с помощью искусственного интеллекта. Технология использует встроенный микрофон телевизора, чтобы оценить различные факторы, такие как расстояние между устройством и стеной или акустические свойства комнаты, влияющие на отражение звуковых волн. После анализа пространства искусственный интеллект автоматически настраивает оптимальный баланс звука.

▲ SpaceFit Sound использует искусственный интеллект для изучения акустических свойств окружающего пространства и настройки звука на основе проведенного анализа.

«В результате исследований мы обнаружили определенные частотные интервалы, которые наиболее подвержены изменениям из-за окружающих условий, — поделился Кибом Ким (Kibeom Kim). — Встроенный микрофон выявляет изменения, вызванные отражением звука, например, от поверхности ковра или наоборот, голых стен, чтобы оптимизировать настройки динамиков независимо от расположения телевизора».

«Обычно в телевизорах используется набор специальных звуков для проверки аудионастроек через микрофон. SpaceFit Sound в отличие от традиционных технологий использует для анализа условий прослушивания и настройки настоящий видеоконтент, — пояснил Ким. — Эта технология была разработана для оптимизации звука в реальном времени, поскольку работает автоматически».

▲ SpaceFit Sound от Samsung стала первой в отрасли технологией, получившей сертификат Spatial Sound Optimization от VDE².

В знак признания стремления Samsung к инновациям и созданию устройств, обеспечивающих лучший опыт пользователей, Verband Deutscher Elektrotechniker (VDE) присудила SpaceFit Sound первый в отрасли сертификат Spatial Sound Optimization в 2021 году.

Q-Symphony 3.0: подключение нескольких устройств для создания трехмерного звука

Современные пользователи хотят, чтобы домашний кинопросмотр был максимально приближен к просмотру в кинотеатре. Это касается как качества изображения, так и качества акустики. Q-Symphony³ — это проприетарная технология Samsung, которая обеспечивает гармоничное взаимодействие между динамиками телевизора и подключенным саундбаром для достижения максимально насыщенного и яркого звучания. Как следует из названия, функция позволяет синхронизировать работу источников аудиосигнала подобно двум группам одного оркестра, создавая единую захватывающую звуковую сцену. В частности, динамичное и трехмерное звуковое поле формируется благодаря саундбару, который воспроизводит сигнал от основных источников звука в кадре, а динамики телевизора добавляют объем за счет воспроизведения звуковых эффектов.

▲ Q-Symphony позволяет саундбару и динамикам телевизора работать в связке, создавая гармоничную звуковую сцену для полного погружения.

Несмотря на кажущуюся простоту задумки, Q-Symphony использует сложные технологии искусственного интеллекта для точной синхронизации. Это необходимо, чтобы добиться идеальной звуковой гармонии и избавиться от эха. За несколько лет инженеры Samsung усовершенствовали технологию Q-Symphony 1.0, изначально использующую верхние динамики телевизора, до версии Q-Symphony 2.0, которая управляет всеми динамиками с улучшенной технологией разделения каналов для большей глубины и полного погружения.

Последняя версия технологии Q-Symphony 3.0 выводит звук на новый уровень за счет использования нейронного процессора и возможности искусственного интеллекта отделить голос от общего аудиосигнала в реальном времени. Анализ и оптимизация различных составляющих аудиодорожки, таких как голос, фоновая музыка и звуковые эффекты, позволяет добиться трехмерного звучания с учетом громкости и типа контента.

Алгоритм искусственного интеллекта Samsung обеспечивает мощное и динамичное звучание при воспроизведении любого входящего сигнала через многоканальные системы саундбара или телевизора.

▲ «Q-Symphony — это революционная технология от Samsung, которая может мастерски синхронизировать громкость и задержку динамиков, создав идеальную гармонию», — прокомментировал Ким.

«Звук, который предлагает Q-Symphony, настолько захватывает, что зрители могут почувствовать, что они находятся на съемочной площадке в окружении всех этих звуков, которые буквально оживают благодаря технологиям», — добавил Ким.

Объединение изображения и звука для оптимального просмотра

Сегодня искусственный интеллект занимает ключевую позицию в стратегии развития аудиотехнологий Samsung. Его функционал применяется во многих продуктах. Широкое использование возможностей ИИ позволило создать не только Q-Symphony и SpaceFit Sound, но и другие технологии. Среди них функция Active Voice Amplifier⁴, которая автоматически повышает четкость и громкость диалога, технология OTS Pro — разработка, изменяющая направление звука на основе движения объектов и людей в кадре.

Эти функции реализованы благодаря двум технологиям искусственного интеллекта: первая анализирует контент, а вторая разделяет звук. Нейронные процессоры работают как со звуковыми, так и с визуальными данными, чтобы создать идеальное аудиосопровождение для изображения на экране. Несмотря на сложность, Samsung удалось реализовать функции объединения аудио- и видеосигналов благодаря включению в команду инженеров из разных подразделений, работающих с изображением, звуком и не только.

Будущее звука: преображение акустического восприятия в новые впечатления.

▲ (Слева направо) СонгСу Пак (Seoungsu Park), СонМин Ким (Sunmin Kim) и Кибеом Ким (Kibeom Kim) из лаборатории аудиоустройств Samsung работают над воспроизведением звука таким, каким его задумали авторы

У лаборатории аудиоустройств Samsung есть четкая цель, которой сотрудники руководствуются при создании всех инноваций: максимально точно воссоздать звук, который задумали авторы контента, с учетом предпочтений пользователей. Искусственный интеллект — важный инструмент, который позволяет добиться этой цели.

Руководитель лаборатории СонМин Ким считает, что качество звука — это лишь часть успеха: «Качество звука — это важно, но главным приоритетом для нас всегда являлся фокус на пользовательский опыт. Настройка звука и другие функции, прежде всего, должны быть удобными в использовании».

СонгСу Пак отметил, что 70% звука зависит от динамиков телевизора, а оставшиеся 30% —  от влияния пространства вокруг: «Мы продолжим использовать новейшие системы измерения и алгоритмы искусственного интеллекта для анализа пространства и параметров, чтобы добиться максимального качества звука».

В заключение Кибеом Ким подчеркнул революционность технологии Q-Symphony: «Q-Symphony обладает неограниченным потенциалом для создания идеальной звуковой гармонии. Мы продолжим работать над синхронизацией между устройствами и расширять возможности наших пользователей».

Samsung стремится предоставлять лучший опыт с помощью инновационных продуктов, уделяя главное внимание потребностям пользователей. Закрепляя 17-летнее лидерство в производстве телевизоров, Samsung продолжит улучшать впечатления от просмотра контента и внедрять инновации в области звука.

¹  «СпейсФит Саунд».

²  Сертификат VDE Spatial Sound Optimization («Спэйшиал Саунд Оптимизейшн») присуждается продуктам, обеспечивающим высокое качество звука, независимо от внешних факторов.

³  «Кью-Симфони».

⁴ «Эктив Войс Амплифайер».

1. Технология Quantum Mini LED передает мельчайшие детали и текстуры

Изображение на экране должно сменяться молниеносно, чтобы вы не упустили ни одного кадра в динамичной сцене нового блокбастера – именно поэтому телевизоры QLED 8K 2021 года оснащены технологией Quantum Mini LED.¹

Запатентованная технология микрослоев Samsung Electronics передает изображения более ярко и точно. Используемые светодиоды в 40 раз меньше традиционных, небольшой размер и короткое оптическое расстояние позволяют совместить локальное затемнение и ультратонкий дизайн. Это обеспечивает точное отображение деталей без размытия, все нюансы фильма четко отображаются, включая оттенок кожи главного героя или даже капли пота.

2. Технология Quantum Matrix обеспечивает высокую четкость изображения даже в самых затемненных сценах

Детализированные черные цвета и высокая контрастность имеют ключевое значение для передачи реалистичных ночных сцен. Технология локального затемнения Quantum Matrix от Samsung обеспечивает высокий контраст между темными и светлыми областями на экране.

Quantum Matrix увеличивает количество градаций яркости каждого светодиода с 10 до 12 бит, в результате чего доступно 4096 уровней яркости экрана, что в четыре раза больше² , чем у обычных телевизоров. Благодаря значительному улучшению локального распределения энергии технология позволяет сделать темные участки еще темнее, а яркие участки – светлее, за счет возможности перераспределить оставшуюся энергию в зоны, где требуется более высокая яркость.

3. Наслаждайтесь классикой в максимально высоком разрешением благодаря процессору Neo Quantum

Качество изображения классических фильмов традиционно ниже, чем в современных.  Процессор Neo Quantum использует работающую в режиме реального времени нейронную сеть для анализа входящего контента по различным каналам. В частности, учитывается исходное изображение, анализируются границы объектов и фоновый шум, что позволяет определить оптимальную нейронную сеть для апскейлинга этого контента. Поскольку каждая из 16 доступных моделей нейронных сетей специализируется на отдельной категории контента, качество масштабирования значительно улучшается в сравнении с тем же процессом, осуществляемым одной единственной нейронной сетью. Таким образом, процессор значительно дорабатывает и улучшает качество изображения даже в фильмах, изначально вышедших в более низком разрешении.

4. Погрузитесь в абсолютный звук с первым в мире 11.1.4-канальным саундбаром Dolby Atmos

По-настоящему кинематографичный просмотр невозможен без звуковой системы, способной создать действительно захватывающий звук. Учитывая растущее число пользователей, которые любят смотреть фильмы дома, повышается и потребность в звуковых системах премиум-класса, способных реалистично передать звук дождя или рев двигателей самолета.

В кинотеатре иммерсивный звук создается благодаря высокопроизводительным динамикам, заполняющим стены и потолок; часто для создания такого звука используется до 400 динамиков. Саундбар Samsung HW-Q950A создает трёхмерное звучание без необходимости устанавливать дополнительные колонки благодаря 11,1,4-канальным динамикам и технологии Dolby Atmos.

5. Телевизор и саундбар, идеально сочетающиеся друг с другом благодаря технологии Q-Symphony

Обычно при подключении саундбара к ТВ аудио автоматически воспроизводится только на звуковой панели, при этом может возникать рассинхронизация звука и изображения. Технология Samsung Q-Symphony решает эту проблему: звук воспроизводится не только через саундбар, но и через динамики телевизора, что создает еще более реалистичный эффект и богатое звуковое окружение.

¹ По сравнению со светодиодными модулями в телевизорах Samsung UHD 2020 года, высота каждого светодиода Quantum Mini LED в моделях Neo QLED 8K 2021 года в сорок раз меньше

² 10-битный режим: 210 = 1 024 доступных уровня; 12-битный режим: 212 = 4 096 уровня.

Однако полное погружение в контент невозможно без хорошего звука. С 2008 года компания Samsung создает саундбары, способные обеспечивать революционное качество звука, и предлагает инновационные решения, позволяющие наслаждаться безупречным звучанием. Больше фактов об истории этих устройств представлено в инфографике.