Samsung задает новые стандарты аудио в линейке телевизоров QLED 8K 2020 года. Технология Object Tracking Sound+ использует программное обеспечение на основе AI для согласования движения звука с движением на экране. AVA (Активный усилитель речи) отслеживает уровень шумов в помещении, а Q-Symphony создает более реалистичный, трехмерный звук.

Специалисты по звуку подразделения устройств визуального отображения Samsung Electronics рассказали о широких возможностях инноваций в области аудио, а также о пути к их внедрению.

(Слева направо) Янгтэй Ким (Sound Lab), Чонбэй Ким (Sound Lab), Юнчжан Ли (Sound Device Lab) и Сунмин Ким (Sound Lab)

Object Tracking Sound+: звук, следующий за объектом на экране

Экшн-фильмы с потрясающей звукорежиссурой оставляют яркие впечатления при просмотре в кинотеатрах. Это связано с тем, что практически на всех стенах, вокруг экрана и даже на потолке в кинозалах установлены многоканальные динамики с трехмерным звуком. По сравнению с двухканальным аудио, при котором колонки расположены только слева и справа, многоканальные динамики в кинотеатрах обеспечивают более реалистичные ощущения. Как же воссоздать эту атмосферу дома? Для этого специалисты Samsung разработали технологию Object Tracking Sound+, которая воспроизводит звук через шесть встроенных в телевизор динамиков.

С технологией Object Tracking Sound+ звук перемещается по экрану, следуя за объектом в каждой сцене. Когда автомобиль в кадре движется слева направо или тяжелый предмет падает сверху вниз, то же самое происходит и со звуком.

При разработке телевизоров QLED 8K 2020 года инженеры Samsung увеличили количество встроенных динамиков с двух до шести, чтобы звук мог имитировать визуальные действия. «Расположив по две колонки с каждой стороны экрана, а также по одной сверху и снизу, мы обеспечили распространение звука во всех направлениях, – отметил Чонбэй Ким. – Расстояние между двумя основными динамиками было максимально увеличено. Дополнительные динамики были установлены, чтобы максимизировать звук по всем осям, чтобы он был трехмерным. Например, мы разместили динамики в верхней части экрана, чтобы обеспечить движение звука в вертикальном направлении для более захватывающего звучания».

Несмотря на сложность конструкции телевизоров с шестью встроенными динамиками, инженерам удалось сохранить дизайн устройств компактным и тонким.

Чтобы звук точно соответствовал движениям на экране, важно понимать первоначальный замысел создателей контента. «Роль инженера по звуку заключается в создании согласованности между действием на экране и звуковой дорожкой. Это он отвечает за передачу информации о местонахождении звука в конкретном фрагменте видео, – добавил Чонбэй Ким. – Технология Object Tracking Sound+ анализирует информацию о местоположении, содержащуюся в аудиосигналах, в том виде, в котором она была изначально во время микширования. Это означает, что телевизор может эффективно распределять звук между шестью динамиками и различать, находится ли источник аудио в кадре, за его пределами, на переднем плане или вдали».

Технология Active Voice Amplifier (AVA-Активный усилитель речи)

Когда во время важного новостного репортажа или ключевой сцены в фильме на улице раздается оглушительный раскат грома, пользователи порой не успевают вовремя схватить пульт и отрегулировать громкость телевизора. Для решения этой проблемы специалисты Samsung разработали технологию AVA, которая распознает посторонние шумы и при необходимости усиливает громкость голоса с экрана телевизора.

Звуковой датчик, установленный внизу средней части телевизора, воспринимает звук, исходящий как из динамиков устройства, так и из окружающей среды. Затем технология ИИ сравнивает громкость двух типов звука. Если уровень внешнего шума оказывается выше, громкость воспроизводимого контента выборочно увеличивается. «Система не имеет единого определения шума, – объяснил Сунмин Ким. – Она считает таковым все без исключения элементы, которые мешают получать удовольствие от контента. Когда внешние звуки превышают определенный уровень в децибелах, система регистрирует их как шум».

 «Система использует AI для поддержания согласованности звуковых эффектов и фонового аудио, а также только для увеличения громкости голосов, – подчеркнул Сунмин Ким. – Наши исследования продемонстрировали, что большая часть контента насыщена диалогами, поэтому мы считаем, что именно эта часть звука наиболее важна для зрителей».

Q–Symphony: создание многомерного звукового ландшафта

Одним из ключевых элементов для достижения реалистичного звука во время воспроизведения контента является трехмерность, которая охватывает как горизонтальные, так и вертикальные характеристики звука. До недавнего времени специалисты по телевизорам и по саундбарам работали над этими параметрами отдельно. С включением верхних боковых динамиков на телевизорах Samsung 2020 QLED 8K, команда разработчиков представила комплексное решение, которое использует возможности как телевизора, так и саундбара. Q-Symphony – уникальная технология, которая позволяет одновременно работать динамикам телевизора и саундбара. Недавно она была отмечена наградой Best of Innovation Award на CES 2020.

«Ключевой элемент этой технологии – специальный алгоритм, который плавно разделяет и гармонизирует звуки между динамиками телевизора и саундбара», – отметил Юнджа Ли.

В процессе разработки возникла проблема качества воспроизведения диалогов. Когда и звуковая панель, и динамики телевизора воспроизводили голоса одновременно, качество звука заметно ухудшалось. Однако специалисты смогли решить эту проблему, отделив основную звуковую дорожкуот всего сигнала и назначив разные дорожки динамикам телевизора и звуковой панели. «В линейке телевизоров Samsung QLED 8K 2020 года речь отделяется от звука. За воспроизведение звуковых эффектов отвечают встроенные динамики, – пояснил Ли. – А саундбар, в свою очередь, отвечает за основную звуковую дорожку, в том числе диалоги.  Благодаря этой технологии Q-Symphony использует преимущества как динамиков телевизора, так и саундбара, предоставляя пользователям наилучшее и наиболее гармоничное звучание».

Совместная работа над безупречным аудиоопытом

Увеличение числа динамиков, их новое размещение и сочетание с саундбаром с применением ИИ стало возможным благодаря тесному взаимодействию с другими командами Samsung.

Янгтэй Ким (слева) и Cунмин Ким представляют инновационные звуковые технологии линейки телевизоров Samsung QLED 8K 2020

Помимо совместной работы с Samsung Audio Lab, расположенной в США, команда также сотрудничает с научно-исследовательскими центрами компаниями, университетами и экспертами во всем мире. «Мы хотим, чтобы звук был как можно более естественным и реалистичным», – объясняет Янгтэй Ким.

Инновации Samsung в области звука помогают компании реализовать концепцию Screens Everywhere. «В будущем мы будем поддерживать использование искусственного интеллекта, чтобы пользователям не нужно было использовать пульт дистанционного управления для достижения оптимального баланса звука при просмотре любимого контента, – отметил Сунмин Ким. – Со временем среда, где находится телевизор, образ жизни пользователей и их возрастные группы будут меняться. Мы хотим, чтобы нашим клиентам был доступен самый лучший звук, независимо от того, какой контент они воспроизводят и где находятся».

Алан Девантье  (Allan Devantier), руководитель аудиолаборатории, Samsung Research America

Девантье  пришел в Samsung в октябре 2013 года. К январю 2014 года Samsung оборудовала лабораторные помещения и наняла четырех инженеров, а к октябрю того же года штат сотрудников вырос до 10 человек, и аудиолаборатория начала свою полноценную работу. К этому моменту лаборатория была готова приступить к реализации своей миссии «сделать аудиотехнологии Samsung лучшими во всей индустрии».

«Первым продуктом, над которым мы работали, была портативная колонка Radiant 360. Фактически, она стала первой портативной системой на массовом рынке, способной распространять звук на 360 градусов, – вспоминает Девантье. – Тогда мы были новаторами в отрасли. Сейчас подобные всенаправленные колонки стали весьма популярными на рынке».

Эволюционные изменения 

Сегодня в лаборатории Samsung Audio Lab работает более 20 человек с совокупным опытом работы в области аудиотехнологий более 300 лет. Одиннадцать членов команды имеют степень магистра или доктора наук, при этом восемь инженеров являются музыкантами, которые продолжают играть в группах. Лаборатория также активно сотрудничает со специалистами аудиотехнологий Samsung в Корее.

«В нашей работе огромная роль отводится изучению того, как люди слушают, – поясняет Девантье. – Кроме этого, мы уделяем внимание среде прослушивания – низкочастотным и высокочастотным динамикам (сабвуферам и твитерам), усилителям и цифровым сигнальным процессорам (DSP)». Из лаборатории налажен регулярный постоянный поток важных технологических решений. Некоторые из которых получают высокую оценку авторитетных отраслевых изданий. Лаборатория Samsung Audio Lab также вносит значительный вклад в создание качественного телевизионного звука.

Решение Q-Symphony, анонсированное на выставке CES в этом году, позволяет телевизору с саундбаром создавать объемный звук, который точно воспроизводит пространственное ощущение звукового поля в том виде, в котором оно было задумано авторами произведения. По словам Девантье, решение Q-Symphony «использует фронтальные динамики телевизора для улучшения объемного звучания и создания эффекта погружения».

Стремясь усовершенствовать технологию саундбаров, которые позволяют воспроизводить звук в жестко заданных направлениях, лаборатория разработала телевизоры, оснащенные динамиками не только снизу и по бокам от экрана, но также в верхнем левом и правом углах. Технология OTS (Object Tracking Sound) опирается на алгоритмы глубинного обучения, способные распознавать тип контента на экране, и воспроизводит соответствующий многоканальный звук. Таким образом, пользователи могут наслаждаться реалистичным объемным звуком, который специально адаптирован к тому, что происходит в данный момент на экране.

Будущее аудиотехнологий  

Развитие технологий искусственного интеллекта приведет к трансформации аудиоиндустрии, и Samsung готовится к грядущим изменениям. Рассуждая об этом, Девантье сказал: «Я думаю, мы сможем использовать искусственный интеллект, чтобы сделать наши динамики совершеннее, чтобы они обеспечивали еще более выраженный бас и еще меньше искажений. С помощью технологий искусственного интеллекта мы сможем облагородить звучание старых записей и адаптировать нашу акустику к различным окружениям и условиям прослушивания».

Еще один сценарий, при котором искусственный интеллект расширяет возможности будущих решений, – это использование таких функций, как адаптивное ускорение видео (Adaptive Video Acceleration, AVA). С функцией Samsung AVA телевизор способен распознавать условия аудиовизуального пространства и воспроизводить звук, оптимизированный не только с учетом контента, который отображается на экране, но и с учетом того пространства, в котором находится устройство. В 2020 году датчики, установленные в QLED телевизорах Samsung, позволят оптимизировать просмотр даже в помещениях с высоким уровнем шума.

Размышляя о будущем, Девантье отмечает – «Возможно, однажды мы разработаем динамик, который не только будет обладать великолепным, мощным звуком, но и будет почти невидим».