[Entrevista] Una calidad de sonido de cine desde la comodidad de casa: Conoce a los responsables de la tecnología de audio 3D de última generación

Para que los espectadores disfruten al máximo de contenidos como películas, eventos deportivos y espectáculos en directo, los televisores domésticos no sólo necesitan una calidad de imagen excelente, sino también una calidad de sonido a la altura. Los líderes del sector son conscientes de ello y están desarrollando el audio 3D para añadir un mayor nivel de inmersión a las experiencias de entretenimiento, dando vida a escenas de acción y captando los detalles más sutiles del sonido ambiental.

En pocas palabras, el audio 3D hace que los oyentes realmente se sientan en medio de la acción. El audio 3D, que normalmente sólo se admite en lugares específicos como cines o estudios de grabación, se está abriendo camino en los hogares para ofrecer a los usuarios una nueva forma de experimentar sus contenidos favoritos.

Samsung Research, el instituto de investigación avanzada de Samsung Electronics, lleva desde 2020 esforzándose por alcanzar la máxima popularidad del audio 3D. Con este fin, Samsung ha trabajado junto a Google para desarrollar conjuntamente Immersive Audio Model and Formats (IAMF), una avanzada tecnología de audio espacial 3D que fue adoptada por la Alliance for Open Media (AOM) en octubre de 2023. Samsung Newsroom se ha reunido con el equipo que desarrolló IAMF para conocer la historia de esta innovación digital.

▲El equipo de tecnología visual de Samsung Research dirigió el desarrollo de la estandarizacion para la tecnología de sonido. (De izquierda a derecha) SungHee Hwang, JeongHoon Park y WooHyun Nam.

Una nueva forma de disfrutar del sonido 3D en casa

El sonido ambiente está en todas partes: desde el taconeo de los zapatos al caminar hasta el suave zumbido de los coches al circular. Aunque este ruido puede parecer innecesario en los dispositivos multimedia, es vital para añadir una sensación de profundidad y realismo. El audio 3D combina a la perfección el sonido ambiente con las conversaciones y otros efectos sonoros para crear una experiencia de entretenimiento más intensa y auténtica.

“El sonido 3D te hace sentir como si de verdad estuvieras en el centro de la acción al ajustar la fuerza, el movimiento y la vibración del sonido”, afirma WooHyun Nam, del equipo de tecnología visual de Samsung Research. “De este modo, los espectadores pueden disfrutar de un sonido con más contenido que capta los aspectos tridimensionales del mundo que nos rodea”.

▲ SungHee Hwang, del equipo de tecnología visual de Samsung Research

A pesar de las ventajas del sonido 3D, ha sido difícil aplicar la tecnología a los dispositivos de audio para el hogar debido a las limitaciones tecnológicas. “Los sistemas de audio domésticos, como los altavoces del televisor o las barras de sonido, no pueden interpretar correctamente la información de sonido 3D, lo que da como resultado una experiencia de audio ligeramente limitada que carece de los detalles del contenido de origen”, explica SungHee Hwang, del equipo de tecnología visual de Samsung Research.

Para resolver este problema, Samsung ha colaborado con Google en el desarrollo de una solución de audio que permita a los espectadores disfrutar del audio de los contenidos tal y como estaba previsto. “Si los fabricantes de dispositivos pueden leer los datos de sonido 3D, podrán ajustar el sonido en los dispositivos de audio, lo que permitirá disfrutar de experiencias de audio envolventes con altavoces de TV estándar o barras de sonido en casa”, explica Nam. “Al ajustar el audio para que coincida con el entorno del dispositivo doméstico, los espectadores pueden experimentar el audio tal y como se concibió por el creador, sin distorsiones ni pérdidas de calidad”.

Se necesita una estandarización para enviar y recibir datos de audio sin problemas entre los creadores y los fabricantes de dispositivos. “La experiencia respectiva de Samsung y Google en dispositivos y contenidos convirtió a las compañías en socios ideales para crear la tecnología IAMF”, palabras de JeongHoon Park, Vicepresidente Ejecutivo y Jefe del Equipo de Tecnología Visual de Samsung Research. “Al unirnos para desarrollar esta tecnología sin precedentes, estamos allanando el camino para que los consumidores disfruten del sonido 3D en sus hogares”.

Tres características de la tecnología IAMF: Audio vertical, audio basado en IA y audio personalizado.

La tecnología IAMF ofrece tres funciones distintas que mejoran la experiencia de sonido.

▲ WooHyun Nam, del equipo de tecnología visual de Samsung Research

1. Capacidad para expresar el sonido verticalmente

Los anteriores códecs de audio de código abierto sólo admitían la emisión horizontal del sonido. Con la tecnología IAMF, el audio puede expresarse ahora verticalmente, de modo que el sonido es cada vez más multidireccional. “IAMF hace que el sonido sea más realista, ya que permite a los oyentes escuchar el audio de frente, por detrás o hacia cualquiera de los lados, y también por encima o por debajo de sí mismos”, afirma Nam. “Por eso, cuando la tecnología IAMF se aplica a los altavoces y barras de sonido de los televisores domésticos, los oyentes pueden oír sonidos como el de pájaros volando sobre sus cabezas”.

2. Análisis de escenas basado en IA y efectos de audio 3D

La IAMF utiliza la IA y la tecnología deep-learning para analizar escenas y enfatizar determinados elementos del contenido, ajustando los niveles de audio para mejorar el sonido durante todo el visionado. “En la televisión y el cine, hay escenas en las que la banda sonora o la música de fondo son el foco de atención”, explica Nam. “En estos casos, la tecnología IAMF equilibra el sonido. Del mismo modo, la tecnología ajustará el audio cuando haya diálogos entre personajes para que el oyente pueda centrarse en la conversación”.

Además, la tecnología IAMF proporciona un sonido optimizado a pesar de los cambios en el entorno del dispositivo. “Al ajustar el análisis de los datos de audio de la escena en función del entorno del dispositivo, la tecnología IAMF permite a los oyentes disfrutar de la calidad de sonido original en los televisores domésticos estándar”.

3. Audio altamente personalizado

Los usuarios podrán ajustar libremente el sonido según sus preferencias con la tecnología IAMF. Tanto si los espectadores desean amplificar los efectos de sonido de una escena de acción como realzar los diálogos, la tecnología IAMF les ofrece la flexibilidad necesaria para personalizar el audio de los contenidos y disfrutar así de una experiencia más adaptada a sus gustos y necesidades.

▲ IAMF analiza los datos de los contenidos y permite a los espectadores ajustar y personalizar la configuración de audio. Al ver un partido deportivo, los usuarios pueden elegir directamente si desean enfatizar la voz del comentarista o los sonidos del propio partido.

Audio 3D en el mercado gracias a la IAMF de código abierto

El código abierto es crucial para crear una estandarización en toda la industria. IAMF es la primera normativa de tecnología de audio basada en código abierto adoptada por la AOM, lo que significa que tanto los creadores de contenidos comerciales como los independientes de todo el sector pueden acceder a la tecnología y ampliar su uso.

“Para que la gente pueda crear contenidos libremente con la tecnología de audio 3D, es necesario que esta tecnología esté abierta a todos”, explica Nam. “Proporcionar un marco completo de código abierto para el audio 3D, desde la creación hasta la distribución y la visualización, permitirá experiencias de contenido de audio aún más variadas en el futuro”.

Del mismo modo, Park destacó cómo la tecnología IAMF tendrá un gran impacto en el panorama del audio de cara al futuro. “Como vivimos en una era dominada por la creación de contenidos, la IAMF ayudará a liderar, ampliar y transformar el ecosistema de sonido 3D”, afirmó.

El éxito se logra mediante la cooperación

La investigación sobre la IAMF comenzó en 2020 y ha tardado casi cuatro años en completarse. Gracias a una combinación de perseverancia y mucho trabajo, el equipo pudo alcanzar el éxito.

“El proyecto implicó muchos días de trabajo sin descanso, y hubo momentos en los que tuvimos que trabajar de noche debido a la diferencia horaria entre nuestra oficina y la de Google”, dijo Hwang. “A pesar de estos retos, al final me sentí orgulloso. Fue una gran oportunidad trabajar con desarrolladores de otros países”.

Los equipos forjaron un sentimiento de compañerismo a lo largo del camino y construyeron una sólida base de confianza y entendimiento. “Un empleado de Google mencionó que esta asociación con Samsung había sido la colaboración más gratificante que había llevado a cabo hasta el momento”, recuerda Park. “Pudimos llevar a cabo este proyecto porque nuestros equipos confiaron los unos en los otros. Estoy muy orgulloso y agradecido por los esfuerzos de todas las personas de nuestro equipo y su cooperación”.

▲ JeongHoon Park, Vicepresidente Ejecutivo Corporativo y Jefe del Equipo de Tecnología Visual de Samsung Research

Además, Park alabó las habilidades y conocimientos de cada miembro del equipo, que contribuyeron a la creación de la IAMF. “WooHyun Nam contribuyó fue decisivo a la hora de proponer las ideas de desarrollo tecnológico, mientras que SungHee Hwang organizó y documentó las propuestas de nuestro equipo de una manera bien definida”, afirmó.

Una visión del “sonido Samsung”

Tras su publicación, el equipo de Samsung Research se dio cuenta de que la estandarización del sonido espacial 3D marcaba una nueva era en la tecnología del sonido.

“Gracias a la IAMF, podemos empezar a investigar tecnologías que abrirán paso a un mundo de posibilidades de sonido”, afirma Nam. En esta línea, el equipo de Samsung Research está desarrollando actualmente una versión avanzada de la tecnología IAMF que puede aplicarse a distintos sectores, como los dispositivos móviles, el metaverso, los videojuegos, etc.

▲ Gracias a sus esfuerzos combinados y a su incesante persistencia, el equipo de tecnología visual de Samsung Research logró crear con éxito un nuevo estándar de audio 3D.

Dado el éxito de la IAMF, el equipo de Samsung Research está decidido a crear una tecnología de sonido mejor para los consumidores. Cada uno de los integrantes del equipo expuso sus expectativas para el futuro del sonido 3D.

Nam señaló su deseo de crear una tecnología de audio más envolvente. “Quiero crear una tecnología de sonido 3D más avanzada que haga que los usuarios se sientan realmente en el escenario de la película, un programa de televisión o un acontecimiento en directo”, dijo. “También espero continuar esta investigación hasta que el audio 3D se aplique a los smartphones de Samsung”.

En términos más generales, Hwang habló de cómo espera que Samsung sea capaz de crear una tecnología de audio inigualable que la sitúe entre las filas de otras empresas de audio líderes. “Mi objetivo es desarrollar una tecnología que los consumidores puedan distinguir fácilmente como ‘Sonido Samsung’ cuando la escuchen”, dijo. “Soy optimista y creo que la estandarización de IAMF es un escalón más hacia este sueño”.

“Mi esperanza es que la tecnología de sonido de Samsung permita a los consumidores disfrutar de una experiencia de audio mejorada que esté a la altura de las experiencias visuales del día a día”, dijo Park. “Espero que los creadores de contenido utilicen la tecnología de audio de Samsung para hacer accesible el contenido de sonido 3D. Además, nuestro objetivo es crear un entorno cómodo para que los investigadores puedan afrontar retos ambiciosos y emocionantes, como la expansión de la tecnología de sonido de Samsung”.