Sound wie im Kino für zuhause: Die Entwickler hinter der 3D-Audio Technologie von Samsung

Um Filme, Serien, Sportübertragungen und Live-Events in vollen Zügen genießen zu können, gehört zu einem perfekten Heimkino-Setup nicht nur eine hervorragende Bild-, sondern auch Tonqualität. 3D-Audio ermöglicht es, packende Actionszenen gefühlt zum Leben zu erwecken und auch die leisen Töne zu erfassen. Solch eine Klangqualität war üblicherweise in Kinos oder Aufnahmestudios gegeben. 3D-Audio findet jedoch zunehmend Einzug in die heimischen vier Wände, damit Nutzer*innen ihre Lieblingsinhalte auch zuhause mit hochwertigem Sound erleben können.

Seit 2020 arbeitet das Forschungsinstitut Samsung Research von Samsung Electronics an der Entwicklung von 3D-Audio. So hat Samsung gemeinsam mit Google die Immersive Audio Model and Formats (IAMF) entwickelt – eine fortschrittliche 3D-Audio Technologie, die im Oktober 2023 von der Alliance for Open Media (AOM)¹ eingeführt wurde. Der Samsung Newsroom hat sich mit dem Entwicklerteam der IAMF-Technologie zusammengesetzt, um herauszufinden, wie diese Technologie entwickelt wurde.

Von links nach rechts: SungHee Hwang, JeongHoon Park und WooHyun Nam

3D-Audio auch für zuhause

Grundrauschen gibt es überall – vom Geräusch schleifender Schuhe auf einem Bürgersteig bis hin zum Summen der Autos auf einer Straße. Diese Geräusche erscheinen zwar zunächst nicht unbedingt notwendig, sind aber wichtig, um Tiefe und ein realistisches Fernseherlebnis zu vermitteln. 3D-Audio ermöglicht, dass Hintergrundgeräusche mit Gesprächen und anderen Soundeffekten verschmelzen, um ein lebendiges und authentisches Entertainment-Erlebnis zu schaffen.

„Mit 3D-Audio können wir Zuschauer*innen das Gefühl geben, sich mitten im Filmgeschehen zu befinden, indem wir die Intensität, die Bewegung und die Schwingungen des Sounds anpassen“, erzählt WooHyun Nam vom Visual Technology Team bei Samsung Research. „Auf diese Weise können sie einen vollen und nahezu realistischen Klang genießen.“

SungHee Hwang aus dem Visual Technology Team von Samsung Research

Trotz der Möglichkeiten von 3D-Audio war es aufgrund technischer Einschränkungen bisher schwierig, sie für den privaten Gebrauch zur Verfügung zu stellen. „3D-Audio kann von heimischen Audiosystemen wie TV-Lautsprechern oder Soundbars in der Regel nicht richtig interpretiert werden. Das Ergebnis ist ein Sound, der meist weniger Details als der Originalinhalt wiedergibt“, so SungHee Hwang vom Visual Technology Team bei Samsung Research.

Samsung hat in enger Zusammenarbeit mit Google eine Lösung entwickelt, die es Nutzer*innen ermöglichen kann, Audioinhalte so zu erleben, wie sie vorgesehen sind. „Wenn ein Gerät 3D-Audiodaten verarbeiten kann, kann hierüber auch der Klang angepasst werden. Dadurch wird ein dynamischer 3D-Klang auch mit Fernsehlautsprechern oder Soundbars zuhause möglich“, erklärt WooHyun Nam. „Durch die Anpassung des Tons an die Geräteumgebung können Nutzer*innen den gewünschten Klang, ohne Verzerrungen oder Qualitätsverluste erleben.“

Um Audiodaten nahtlos austauschen zu können, ist ein einheitlicher Standard erforderlich. „Samsung und Google sind aufgrund ihrer Expertise im Bereich Unterhaltungselektronik ideale Partner für die Entwicklung der IAMF-Technologie“, so JeongHoon Park, Executive Vice President und Head of Visual Technology Team bei Samsung Research.

Drei Eigenschaften der IAMF-Technologie

WooHyun Nam aus dem Visual Technology Team von Samsung Research

1. Vertikale Tonausgabe

Bisherige Open-Source-Audiocodes unterstützen nur die horizontale Tonwiedergabe. „Dank der IAMF-Technologie wirkt der Ton lebendig, indem er nach vorne, nach hinten, zur Seite und auch über oder unter den Zuhörer*innen wiedergegeben wird“, so Nam. „Wenn also die IAMF-Technologie auf heimische Geräte angewendet wird, können sie Geräusche wahrnehmen, die sie sonst vielleicht nicht hören könnten, wie beispielsweise Vögel, die über ihren Köpfen fliegen.“

2. KI-basierte Szenenanalyse und 3D-Audioeffekte

Die IAMF-Technologie nutzt KI-basierte Technologien, um beispielsweise Filmszenen zu analysieren und Audiopegel anzupassen, um bestimmte Aspekte des Sounds hervorzuheben. „Es gibt bestimmte Szenen, bei denen der Soundtrack oder die Hintergrundmusik im Vordergrund steht“, ergänzt Nam. „Die IAMF-Technologie kann den Sound in diesen Fällen ausgleichen. Ebenso lässt sich der Ton bei Dialogen anpassen, damit man sich auf das Gespräch konzentrieren kann.“

3. Personalisiertes Audio

Dank der IAMF-Technologie haben Nutzer*innen auch die Möglichkeit, den Klang frei nach ihren Präferenzen anzupassen. Ganz gleich, ob sie die Soundeffekte einer Actionszene verstärken oder Dialoge hervorheben möchten, mit der IAMF-Technologie kann der Sound angepasst werden. Dadurch kann ein individualisiertes Heimkinoerlebnis geschaffen werden. Beispielsweise kann bei einem Fußballspiel ausgewählt werden, ob die Stimme des Kommentators oder die Geräusche des Spiels im Vordergrund stehen sollen.

Die IAMF-Technologie analysiert die Audiodaten der Inhalte und ermöglicht es, die Soundeinstellungen anzupassen.

3D-Audio für jede*n dank Open-Source IAMF

Ein Open-Source-Ansatz ist aus unserer Sicht entscheidend für die Entwicklung eines einheitlichen Standards in der gesamten Branche. Die IAMF-Technologie ist der erste Open-Source-basierte Audiostandard, der von der AOM¹ angenommen wurde. Das bedeutet, dass sowohl Unternehmen als auch unabhängige Content Creator auf die Technologie zugreifen können.

„Damit alle Menschen Inhalte mit der 3D-Audio Technologie frei erstellen können, muss sie auch für alle zugänglich sein“, betont Nam. „Ein vollständiges Open-Source-Framework für 3D-Audio, das von der Erstellung bis zur Wiedergabe reicht, kann in Zukunft eine noch größere Vielfalt an Audioinhalten ermöglichen.“ Ebenso unterstreicht Park, dass die IAMF-Technologie einen großen Einfluss auf die kommende Audio-Landschaft haben kann. „Die IAMF-Technologie kann dazu beitragen, dass sich das 3D-Audio-Ökosystem weiterentwickelt und verändert“, sagt er.

Die Zukunft von Samsung Sound

Das Visual Technology Team von Samsung Research konnte erfolgreich einen Standard für 3D-Audio schaffen.

Für das Samsung Research Team stellt die Standardisierung von 3D-Audio eine neue Stufe der Soundtechnologie dar. „Dank der IAMF-Technologie können wir die Forschung an Audiotechnologien fortsetzen und neue Möglichkeiten im Soundbereich entdecken“, so Nam. Dementsprechend entwickelt das Samsung Research Team derzeit eine erweiterte Version der IAMF-Technologie, die in verschiedenen Bereichen wie Mobilgeräten und Videospielen eingesetzt werden kann. Standards wie die IAMF-Technologie kann das Entertainment-Erlebnis unser Kund*innen intensivieren. Daher ist das Samsung Research Team entschlossen, kontinuierlich innovative Lösungen zu entwickeln, die ein herausragendes Sounderlebnis ermöglichen.

¹ Ein gemeinnütziges Industriekonsortium, das gegründet wurde, um Technologien zur kostenlosen Bereitstellung von Multimedia zu entwickeln. Es wird von einer Allianz aus 38 Unternehmen betrieben, darunter Samsung Electronics, Google, Amazon, Apple und Meta. https://aomedia.org/press%20releases/AOMedia-Advances-the-Audio-Innovation-Era/