[Интервью] Звук, как в кино, у вас дома: история разработки технологии 3D-звука нового поколения

Для того чтобы зрители могли в полной мере оценить новый уровень просмотра фильмов, спортивных игр и трансляций, домашние телевизоры должны предлагать не только отличное качество изображения, но и впечатляющее качество звука. Понимая это, лидеры технологической отрасли занимаются разработкой 3D-звука, который по-настоящему погружает в развлекательный контент, оживляя захватывающие экшн-сцены и передавая мельчайшие детали фонового шума.

Иными словами, 3D-звук создает у слушателей ощущение, что они находятся в самом центре событий. Мы привыкли, что 3D-звук поддерживается только в кинотеатрах или студиях звукозаписи, но теперь оценить качество такого звука можно во время домашних просмотров, воспринимая любимый контент по-новому. 

Передовой исследовательский институт Samsung Research стремится к популяризации 3D-звука с 2020 года. Для этого Samsung совместно с Google разработала Форматы и Модель Иммерсивного Звука (IAMF) – передовую технологию пространственного трехмерного звука, которая была одобрена Альянсом за открытые медиа (AOM)¹ в октябре 2023 года. Samsung Newsroom встретился с командой, разработавшей IAMF, чтобы узнать историю появления технологии.

▲ Разработку стандарта аудиотехнологии возглавила команда разработки визуальных технологий Samsung Research. Слева направо: СонХи Хван (SungHee Hwang), ДжонХун Пак (JeongHoon Park) и ВуХён Нам (WooHyun Nam).

3D-звук у вас дома

Фоновый шум есть повсюду – от звука шагов на тротуаре до тихого гула проезжающих по дороге автомобилей. На первый взгляд такие звуки могут показаться лишними в мультимедийных материалах, однако они критически важны для придания глубины и ощущения реальности. 3D-звук органично передает сочетание окружающего шума с разговорами и другими звуковыми эффектами, создавая более яркие и реалистичные впечатления от просмотра.

«За счет регулировки громкости, распространения звука и резонанса 3D-звук погружает в самый центр событий, – говорит ВуХён Нам (WooHyun Nam) из команды разработки визуальных технологий Samsung Research. – Так, зрители могут оценить более насыщенный звук, передающий трехмерные аспекты окружающего нас мира».

▲ СонХи Хван из команды разработки визуальных технологий Samsung Research.

Несмотря на преимущества 3D-звука, применение этой технологии в домашних аудиоустройствах было затруднено из-за технических ограничений. «Домашние аудиосистемы, такие как телевизионные динамики или саундбары, не могут правильно интерпретировать 3D-звук, что приводит к несколько ограниченному звуковому восприятию, лишенному оригинальных деталей», – говорит СонХи Хван (SungHee Hwang) из команды разработки визуальных технологий Samsung Research.

Компания Samsung совместно с Google разработала аудиотехнологию, которая позволяет воспринимать звук контента в соответствии с авторской задумкой. «Если производители аудиоустройств сделают возможным считывание данных 3D-звука, то они смогут настраивать звук таким образом, чтобы создавать захватывающие звуковые впечатления с помощью стандартных телевизионных динамиков или саундбаров в домашних условиях, – сказал ВуХён Нам. – Благодаря тому, что звук подстраивается под окружение, слушатели могут воспринимать его именно так, как задумал автор, без искажений и потери качества».

Для беспрепятственных передачи и приема аудиоданных между создателями контента и производителями устройств необходим единый стандарт. «Опыт компаний Samsung и Google в области разработки устройств и контента делает их идеальными партнерами для создания технологии IAMF, – сказал ДжонХун Пак (JeongHoon Park), исполнительный вице-президент и руководитель команды разработки визуальных технологий Samsung Research. – Объединив усилия для разработки этой уникальной технологии, мы создаем для пользователей возможность наслаждаться 3D-звуком в своих домах».

Несмотря на преимущества 3D-звука, применение этой технологии в домашних аудиоустройствах было затруднено из-за технических ограничений. «Домашние аудиосистемы, такие как телевизионные динамики или саундбары, не могут правильно интерпретировать 3D-звук, что приводит к несколько ограниченному звуковому восприятию, лишенному оригинальных деталей», – говорит СонХи Хван (SungHee Hwang) из команды разработки визуальных технологий Samsung Research.

Компания Samsung совместно с Google разработала аудиотехнологию, которая позволяет воспринимать звук контента в соответствии с авторской задумкой. «Если производители аудиоустройств сделают возможным считывание данных 3D-звука, то они смогут настраивать звук таким образом, чтобы создавать захватывающие звуковые впечатления с помощью стандартных телевизионных динамиков или саундбаров в домашних условиях, – сказал ВуХён Нам. – Благодаря тому, что звук подстраивается под окружение, слушатели могут воспринимать его именно так, как задумал автор, без искажений и потери качества».

Для беспрепятственных передачи и приема аудиоданных между создателями контента и производителями устройств необходим единый стандарт. «Опыт компаний Samsung и Google в области разработки устройств и контента делает их идеальными партнерами для создания технологии IAMF, – сказал ДжонХун Пак (JeongHoon Park), исполнительный вице-президент и руководитель команды разработки визуальных технологий Samsung Research. – Объединив усилия для разработки этой уникальной технологии, мы создаем для пользователей возможность наслаждаться 3D-звуком в своих домах».

Три характеристики технологии IAMF: вертикальный звук, анализ звука с помощью ИИ и кастомизированный звук

Технология IAMF обладает тремя отличительными особенностями, которые улучшают восприятие звука.

▲ ВуХён Нам из команды разработки визуальных технологий Samsung Research.

1. Возможность вертикального воспроизведения звука

Аудиокодеки с открытым исходным кодом предыдущего поколения поддерживали только горизонтальное воспроизведение звука. Теперь, благодаря технологии IAMF, звук можно воспроизводить и в вертикальной плоскости, что делает его еще более объёмным. «IAMF воспроизводит звук более реалистично, звук раздаётся впереди, позади или сбоку, а также над или под вами, – говорит Нам. – Поэтому, когда технология IAMF применяется в динамиках домашних телевизоров и саундбарах, зрители слышат, например, звуки пролетающих над головой птиц».

2. Анализ сцен с помощью искусственного интеллекта и 3D-аудиоэффекты

 IAMF использует технологии искусственного интеллекта и глубокого обучения для анализа сцен и акцентирования определённых аспектов контента.  «В телевидении и кино есть сцены, в которых основное внимание уделяется саундтреку или фоновой музыке, – говорит ВуХён Нам. – В такие моменты IAMF сбалансирует звук. Аналогичным образом технология точно настроит звук во время диалога персонажей, позволяя слушателю сосредоточиться на разговоре».

Кроме того, технология IAMF обеспечивает оптимальное звучание независимо от технических возможностей устройства, на котором воспроизводится аудиоконтент.

3. По-настоящему кастомизированный звук

С помощью технологии IAMF можно свободно регулировать звук в соответствии со своими предпочтениями. Неважно, хотите ли вы усилить звуковые эффекты в экшн-сценах или улучшить звучание диалогов, IAMF дает  возможность гибко настраивать звук контента для создания уникальных условий просмотра.

▲ IAMF анализирует получаемые из видеоконтента данные и позволяет зрителям регулировать и настраивать параметры звука. При просмотре спортивного матча пользователь может выбрать, что ему важнее – голос комментатора или звуки самой игры.

3D-звук в масштабах всей отрасли благодаря открытому исходному коду IAMF

Открытый исходный код является важнейшим условием формирования единого стандарта в отрасли. IAMF – первый стандарт аудиотехнологий с открытым исходным кодом, принятый AOM. Это означает, что как корпоративные, так и независимые авторы контента могут воспользоваться этой технологией и расширить сферу ее применения.

«Для того чтобы люди могли свободно создавать контент с использованием технологии 3D-звука, доступ к ней должен быть открыт для всех, – сказал ВуХён Нам. – Наличие полноценного фреймворка с открытым исходным кодом для работы с 3D-звуком – от создания до передачи и воспроизведения – позволит в будущем создавать еще более разнообразный аудиоконтент».

ДжонХун Пак  подчеркнул, что технология IAMF схожим образом окажет значительное влияние на дальнейшее развитие аудиосистем. «Поскольку мы живем в мире, где правит контент, IAMF поможет расширить и трансформировать экосистему 3D-звука», – сказал он.

Успех, достигнутый благодаря сотрудничеству

Исследования технологии IAMF начались в 2020 году и заняли почти четыре года. Команде удалось добиться успеха благодаря настойчивости и упорному труду.

«Проект предполагал непрерывную многодневную работу, иногда нам приходилось работать по ночам из-за разницы во времени между нашим офисом и офисом Google, – говорит СонХи Хван . – В конечном итоге я могу гордиться проделанной работой, несмотря на все трудности. Это была удивительная возможность поработать с разработчиками из других стран».

В процессе работы команды прониклись чувством товарищества и заложили прочный фундамент отношений, основанных на доверии и взаимопонимании. «Один из сотрудников Google отметил, что совместный проект с Samsung был для него самым приятным из всех, в которых ему доводилось участвовать, – вспоминает ДжонХун Пак. – Мы смогли реализовать его, потому что наши команды доверяли друг другу. Я очень горжусь своими коллегами и благодарен им за их работу и сотрудничество».

▲ ДжонХун Пак, исполнительный вице-президент и руководитель команды разработки визуальных технологий Samsung Research.

Кроме того, ДжонХун Пак отметил уникальные навыки и опыт каждого члена команды, которые помогли в создании IAMF. «ВуХён Нам сыграл важную роль в генерации идей по развитию технологии, а СонХи Хван организовал и четко задокументировал идеи нашей команды», – сказал он.

Концепция Samsung Sound

После презентации технологии команда Samsung Research поняла, что стандартизация пространственного 3D-звука знаменует собой новую эру в развитии аудиотехнологий.

«Благодаря IAMF мы можем приступить к исследованию технологий, которые откроют нам целый новый мир звуковых возможностей, – отметил ВуХён Нам. Вдохновившись этим, команда Samsung Research в настоящее время разрабатывает усовершенствованную версию технологии IAMF, которую можно будет применять в различных областях, таких как мобильные устройства, метавселенная, видеоигры и др.

▲ Благодаря совместным усилиям и неустанному упорству команда разработчиков визуальных технологий Samsung Research смогла успешно создать новый стандарт для 3D-звука.

Успех IAMF мотивирует команду Samsung Research на создание более совершенных аудиотехнологий для пользователей. Каждый из членов команды поделился своими взглядами на будущее 3D-звука.

«Я хочу создать более совершенную технологию 3D-звука, которая позволит ощутить себя участником сцены из фильма, телепередачи или живой трансляции, – рассказал ВуХён Нам. – Я также планирую продолжить исследования до тех пор, пока технология 3D-звука не будет реализована в смартфонах Samsung».

СонХи Хван надеется, что компания Samsung сможет создать непревзойденную аудиотехнологию, которая поставит ее в один ряд с другими ведущими компаниями в этой области. «Моя цель – разработать такую технологию, услышав которую, пользователи смогут легко распознать как «Samsung Sound», – сказал он. – Я верю, что стандарт IAMF является шагом на пути к этой мечте».

«Я надеюсь, что аудиотехнология Samsung даст возможность пользователям оценить улучшенный звук, сопоставимый с нынешними визуальными возможностями, – сказал ДжонХун Пак. – Хочется верить, что авторы контента будут использовать аудиотехнологии Samsung, чтобы сделать 3D-аудиоконтент более доступным. Кроме того, мы рассчитываем создать благоприятную среду, которая позволит инженерам решать смелые и интересные задачи, такие как расширение применения аудиотехнологий Samsung».

Технологические стандарты, такие как IAMF, сделают процесс просмотра видеоконтента более захватывающим. Команда Samsung Research создает условия для развития инноваций, которые изменят будущее звуковых технологий.

¹ Некоммерческий отраслевой консорциум, созданный для разработки и обмена технологиями передачи медиафайлов для снижения связанных с этим издержек. Находится под управлением альянса из 38 компаний, включая Samsung Electronics, Google, Amazon, Apple и Intel.