[Interview] Audio van filmkwaliteit in de huiskamer: dit zijn de gezichten van de volgende generatie 3D-audio-technologie

Om kijkers optimaal te laten genieten van films, sportwedstrijden of liveshows, hebben TV’s niet alleen een uitzonderlijke beeldkwaliteit nodig, maar ook een indrukwekkende geluidskwaliteit. Er wordt momenteel hard gewerkt aan de ontwikkeling van 3D-audio, een technologie waarmee spannende actiescènes tot leven komen en de stilste details van het omgevingsgeluid worden weergegeven.

Simpel gezegd: 3D-audio geeft luisteraars het gevoel alsof ze zich echt midden in de actie bevinden. Hoewel 3D-audio  doorgaans alleen ondersteund wordt op specifieke locaties als bioscopen of opnamestudio’s, vindt het nu ook zijn weg naar de kijker thuis.

Samsung Research is sinds 2020 bezig om 3D-audio op de kaart te zetten. Samen met Google werkte Samsung aan de ontwikkeling van IAMF (Immersive Audio Model and Formats) – een geavanceerde 3D-audiotechnologie die in oktober 2023 door de AOM (Alliance for Open Media) werd aangenomen[1]. Samsung Newsroom sprak met het team dat IAMF ontwikkelde om te horen hoe de technologie tot stand kwam.

Het Visual Technology Team van Samsung Research leidde de ontwikkeling van een nieuwe standaard voor audiotechnologie. (Vanaf links) SungHee Hwang, JeongHoon Park en WooHyun Nam

Een nieuwe manier om thuis van 3D-audio te genieten

Omgevingsgeluid is overal aanwezig: van het geluid van voetstappen op het trottoir tot het gezoem van auto’s op de snelweg. Dit geluid lijkt misschien overbodig in visuele media, maar is cruciaal voor het gevoel van diepte en echtheid. 3D-audio combineert omgevingsgeluid naadloos met gesprekken en andere geluidseffecten voor een levendige en levensechte ervaring.

“3D-audio geeft je het gevoel alsof je midden in de actie zit, door de kracht en de beweging van het geluid aan te passen,” zegt WooHyun Nam van het Visual Technology Team bij Samsung Research. “Kijkers kunnen zo genieten van een voller geluid dat de 3D-aspecten van de wereld om ons heen weergeeft.”

SungHee Hwang van het Visual Technology Team van Samsung Research

Door technologische beperkingen was het moeilijk om de technologie toe te passen voor thuisgebruik. “3D-geluidsinformatie wordt niet goed geïnterpreteerd door TV-luidsprekers of soundbars, wat zorgt voor een beperkte audio-ervaring die veel details mist,” zegt SungHee Hwang van het Visual Technology Team bij Samsung Research.

Daarom heeft Samsung samen met Google een audiostandaard ontwikkeld waarmee kijkers het geluid ervaren zoals de maker het bedoelde. “Als de 3D-audiogegevens door alle merken kunnen worden gelezen, wordt dit meeslepende geluid mogelijk op standaard TV-luidsprekers of soundbars,” stelt Nam. “Door de audio aan te passen aan de thuisomgeving, wordt het mogelijk om de audio te ervaren zoals de maker het bedoeld heeft: zonder vervorming of kwaliteitsverlies.”

Er is een uniforme standaard nodig om audiogegevens soepel uit te wisselen tussen contentmakers en de fabrikanten van apparatuur. “De respectievelijke expertise van Samsung en Google op het gebied van apparaten en content maakte de bedrijven tot ideale partners voor de ontwikkeling van de IAMF-technologie,” zegt JeongHoon Park, Executive Vice President en hoofd van het Visual Technology Team bij Samsung Research. “Door samen te werken aan deze technologie, maken we de weg vrij voor de consument om thuis van 3D-audio te genieten.”

Drie kenmerken van IAMF-technologie: verticale audio, op AI gebaseerde audio en audio op maat

IAMF-technologie heeft drie pijlers die voor een betere audio-ervaring zorgen.

WooHyun Nam van het visuele technologieteam van Samsung Research

Het vermogen om geluid verticaal uit te drukken

Eerdere open-source audiocodecs ondersteunden alleen horizontale geluidsexpressie. Met IAMF-technologie kan audio nu ook verticaal worden uitgedrukt, wat het geluid meer dimensie geeft. “IAMF maakt geluid realistischer, door het voor, achter, aan weerszijden en nu ook boven of onder de luisteraar weer te geven,” stelt Nam. “Als IAMF-technologie wordt toegepast op TV-luidsprekers en soundbars, kun je de vogels over je hoofd horen vliegen op je TV in de huiskamer.”

AI -gestuurde scèneanalyse en 3D-audio-effecten

IAMF maakt gebruik van AI en deep-learning om scènes te analyseren en bepaalde aspecten te benadrukken door de audioniveaus aan te passen. “In TV en film zijn er soms scènes waarin de soundtrack of achtergrondmuziek centraal staat,” zegt Nam. “IAMF zal het geluid dan in balans brengen. Op dezelfde manier optimaliseert de technologie de audio als er dialogen zijn, zodat de luisteraar zich op het gesprek kan concentreren.”

Daarnaast past IAMF het geluid ook aan op veranderingen in de omgeving van het apparaat. Nam: “Door de audiogegevens van de scèneanalyse aan te passen aan de omgeving van het apparaat, geniet je als luisteraar van de originele geluidskwaliteit op een standaard TV.”

Audio op maat

Gebruikers kunnen het geluid aanpassen aan hun voorkeuren met IAMF. Of ze nu de geluidseffecten van een actiescène willen benadrukken of de dialoog beter verstaanbaar willen maken, IAMF geeft kijkers de flexibiliteit om de audio van visuele content aan te passen voor een gepersonaliseerde ervaring.

IAMF analyseert gegevens uit content en stelt kijkers in staat de audio-instellingen naar believen aan te passen. Bij het bekijken van een sportwedstrijd kunnen gebruikers direct kiezen of ze de nadruk willen leggen op de stem van de commentator of op het geluid van de wedstrijd zelf.

Sectorbreed met open source IAMF

Open source is essentieel voor het creëren van een uniforme standaard voor de gehele sector. IAMF is de eerste open source-standaard voor audiotechnologie die door de AOM werd aangenomen. Dit betekent dat zowel grote contentproviders als onafhankelijke contentmakers toegang hebben tot de technologie.

“Als we willen dat iedereen content kan maken met 3D-audiotechnologie, moet de betreffende technologie ook voor iedereen toegankelijk zijn,” zegt Nam. “De beschikbaarheid van een compleet open source-framework voor 3D-audio, van creatie tot afspelen, zal in de toekomst nog meer verschillende audio-ervaringen mogelijk maken.”

Op dezelfde manier zal IAMF-technologie een grote impact hebben op het toekomstige audiolandschap, volgens Park: “Omdat we in een tijdperk leven dat wordt gedomineerd door contentcreatie, zal IAMF een grote rol spelen in de uitbreiding van het 3D-audio-ecosysteem.”

Succes door samenwerking

Het onderzoek naar IAMF startte in 2020 en duurde bijna vier jaar. Met veel doorzettingsvermogen en hard werken realiseerde het team het huidige succes.

“Tijdens het project hebben we veel dagen non-stop gewerkt. Er waren zelfs momenten waarop we ‘s nachts moesten werken vanwege het tijdsverschil tussen ons kantoor en dat van Google,” vertelt Hwang. “Ondanks deze uitdagingen ben ik nu erg trots. Het was een geweldige kans om met developers uit andere landen samen te werken.”

Er ontstond gaandeweg een gevoel van vriendschap en de teams bouwden een solide basis van onderling vertrouwen en begrip. “Een Google-medewerker vertelde dat deze samenwerking met Samsung de leukste samenwerking is die hij tot nu toe heeft gehad,” herinnert Park zich. “We hebben dit project kunnen verwezenlijken omdat onze teams elkaar vertrouwden. Ik ben erg trots op de inzet en de samenwerking van onze teamleden.”

JeongHoon Park, Corporate EVP en hoofd van het Visual Technology Team bij Samsung Research

Park prees ook de unieke vaardigheden en expertise van de individuele teamleden die hebben bijgedragen aan de totstandkoming van IAMF. “WooHyun Nam speelde een grote rol bij de ideeën voor technologieontwikkeling, terwijl SungHee Hwang de plannen van ons team op een duidelijke manier organiseerde en documenteerde,” zegt hij.

Een visie voor de ‘Samsung Sound’

Bij de release realiseerde het Samsung Research-team zich dat de standaardisatie van ruimtelijke 3D-audio een nieuw tijdperk van geluidstechnologie inluidt.

“Dankzij IAMF kunnen we technologieën gaan onderzoeken die een hele wereld aan audiomogelijkheden openen,” zegt Nam. “Zo ontwikkelt het Samsung Research-team momenteel een geavanceerde versie van IAMF met verschillende toepassingsgebieden, zoals mobiele apparaten, de metaverse, videogames en meer.”

Dankzij hun gezamenlijke inspanningen en volharding creëerde het Visual Technology-team van Samsung Research een nieuwe standaard voor 3D-audio.

Na het succes van IAMF is het Samsung Research-team nog gemotiveerder om betere audiotechnologie voor consumenten te ontwikkelen. Wat zijn de ambities van de teamleden voor de toekomst van 3D-audio?

Nam heeft de wens om audiotechnologie te creëren die nog meeslepender is. “Ik wil geavanceerdere 3D-audiotechnologie maken die gebruikers het gevoel geeft dat ze zich echt in de scène van een film, TV-programma of live-evenement bevinden,” zegt hij. “Ik hoop dit onderzoek voort te kunnen zetten tot 3D-audio beschikbaar is op de smartphones van Samsung.”

Meer in het algemeen hoopt Hwang audiotechnologie te ontwikkelen die Samsung in de gelederen van toonaangevende audiobedrijven plaatst. “Mijn doel is om een technologie te ontwikkelen die consumenten eenvoudig kunnen onderscheiden als de ‘Samsung Sound’,” zegt hij. “Ik denk dat de IAMF-standaard hiervoor de eerste stap is.”

“Mijn hoop is dat de geluidstechnologie van Samsung consumenten een betere audio-ervaring geeft die vergelijkbaar is met de huidige visuele ervaringen,” zegt Park. “Ik hoop dat contentmakers de audiotechnologie van Samsung zullen gebruiken om 3D-audio toegankelijk te maken. Daarnaast streven we naar een ondersteunende omgeving waarin onderzoekers uitdagingen aan durven te gaan, zoals het verder uitbreiden van Samsungs audiotechnologie.”

Technologische standaarden als IAMF zullen entertainment meeslepender en indrukwekkender maken voor alle soorten kijkers. Het Samsung Research-team maakt de weg vrij voor innovaties die de toekomst van audio gaan bepalen.

[1]Een non-profit consortium, opgericht om multimediatechnologie te ontwikkelen en te delen. Contentmakers kunnen de technologie gebruiken zonder zich zorgen te hoeven maken over de kosten. Het consortium wordt beheerd door een alliantie van 38 bedrijven, waaronder Samsung, Google, Amazon, Apple en Meta.