[Entrevista] Audio con calidad cinematográfica desde la comodidad de tu hogar: conoce a los líderes de la tecnología de audio 3D de próxima generación

Para que los espectadores disfruten al máximo de contenidos como películas, juegos deportivos y eventos en vivo, las pantallas del hogar no sólo necesitan una excelente calidad de imagen, también una calidad de sonido impresionante. Al comprender esto, los líderes de la industria están buscando desarrollar audio 3D para agregar un nivel más profundo de inmersión a las experiencias de entretenimiento, dando vida a emocionantes escenas de acción y capturando los detalles más silenciosos del ruido ambiental.

En pocas palabras, el audio 3D hace que los oyentes se sientan como si estuvieran realmente en medio de la acción. Típicamente solamente presente en lugares específicos, como salas de cine o estudios de grabación, el audio 3D está llegando a los hogares para brindar a los espectadores una nueva forma de experimentar su contenido favorito.

El instituto de investigación avanzada de Samsung Electronics, Samsung Research, se ha esforzado por popularizar el audio 3D desde el año 2020. Con este fin, Samsung trabajó con Google para desarrollar en conjunto los Immersive Audio Model and Formats (IAMF, en español, modelos y formatos de audio inmersivo), una tecnología avanzada de audio espacial 3D que fue adoptada por la Alliance for Open Media (AOM)[1] en octubre de 2023. Samsung Newsroom se sentó con el equipo que desarrolló IAMF para escuchar la historia de cómo la tecnología cobró vida.

▲ El Equipo de Tecnología Visual de Samsung Research lideró el desarrollo de un estándar para tecnología de audio. (Desde la izquierda) SungHee Hwang, JeongHoon Park y WooHyun Nam

Una nueva forma de disfrutar del audio 3D en casa

El ruido ambiental existe en todas partes, desde el sonido de los zapatos raspando la acera hasta el suave zumbido de los automóviles que circulan por la calle. Si bien este ruido puede parecer innecesario en los medios, es vital para agregar profundidad y sensación de realidad. El audio 3D funciona para combinar de forma continua el ruido ambiental con conversaciones y otros efectos de sonido con el fin de crear una experiencia de entretenimiento más vibrante y auténtica.

“El audio 3D te hace sentir como si realmente estuvieras en el corazón de la acción al ajustar la fuerza, el movimiento y la vibración del sonido“, dijo WooHyun Nam del Equipo de Tecnología Visual de Samsung Research. “De esta manera, los espectadores pueden disfrutar de un sonido con más cuerpo que captura los aspectos 3D del mundo que nos rodea“.

▲ SungHee Hwang del Equipo de Tecnología Visual de Samsung Research

A pesar de las ventajas del audio 3D, ha sido difícil aplicar la tecnología a dispositivos de audio domésticos debido a limitaciones tecnológicas. “La información de sonido 3D del contenido no puede ser interpretada adecuadamente por los sistemas de audio domésticos, como bocinas de televisiones o barras de sonido, lo que resulta en una experiencia de audio ligeramente limitada que carece de detalles del contenido original“, dijo SungHee Hwang del Equipo de Tecnología Visual de Samsung Research.

Para resolver esto, Samsung trabajó diligentemente con Google para desarrollar una solución de audio que permitiera a los espectadores experimentar el audio del contenido según lo previsto. “Si los fabricantes de dispositivos pueden leer los datos de audio 3D, pueden ajustar el sonido en los dispositivos de audio, lo que permite experiencias de audio inmersivas con bocinas de TV estándar o barras de sonido en casa“, dijo Nam. “Al ajustar el audio para que coincida con el entorno del dispositivo doméstico, los oyentes pueden experimentar el audio tal como lo concibió el creador, sin distorsiones ni pérdida de calidad“.

Se requiere un estándar uniforme para enviar y recibir datos de audio sin problemas entre creadores y fabricantes de dispositivos. “La experiencia respectiva de Samsung y Google en dispositivos y contenido convirtió a las empresas en socios ideales para crear la tecnología IAMF“, dijo JeongHoon Park, Vicepresidente Ejecutivo y Head del Equipo de Tecnología Visual de Samsung Research. “Al unirnos para desarrollar esta tecnología sin precedentes, estamos preparando el camino para que los consumidores disfruten del audio 3D en sus hogares“.

Tres características de la tecnología IAMF: audio vertical, audio basado en IA y audio personalizado

La tecnología IAMF ofrece tres recursos distintos que mejoran la experiencia de audio.

▲ WooHyun Nam del Equipo de Tecnología Visual de Samsung Research

1. Capacidad de expresar sonido verticalmente

Los códecs de audio de código abierto anteriores solo admitían la expresión de sonido horizontal. Con la tecnología IAMF, el audio ahora puede expresarse verticalmente para que el sonido sea cada vez más multidireccional. “IAMF hace que el sonido sea más realista al permitir que los oyentes escuchen el audio delante, detrás o a ambos lados y también por encima o por debajo de ellos“, dijo Nam. “Como tal, cuando la tecnología IAMF se aplica a las bocinas y barras de sonido de los televisores domésticos, lo que permite que los oyentes escuchen sonidos como pájaros volando sobre sus cabezas en sus televisores en casa“.

2. Análisis de escenas basado en IA y efectos de audio 3D

IAMF utiliza inteligencia artificial y tecnología de aprendizaje profundo para analizar escenas y enfatizar ciertos aspectos del contenido ajustando los niveles de audio para mejorar el sonido durante toda la experiencia visual. “En la televisión y el cine, hay ciertas escenas en las que la banda sonora o la música de fondo es el foco principal”, dijo Nam. “La IAMF equilibrará el sonido en estos casos. De manera similar, la tecnología afinará el audio cuando haya diálogo entre personajes para permitir que el oyente se concentre en la conversación”.

Además, la tecnología IAMF proporciona un sonido óptimo a pesar de los cambios en el entorno del dispositivo. “Al ajustar los datos de audio del análisis de la escena según el entorno del dispositivo, la tecnología IAMF habilita a los oyentes a disfrutar de la calidad de sonido original del contenido en televisores domésticos estándar“, añadió.

3. Audio altamente personalizado

Los usuarios podrán ajustar libremente el sonido según sus preferencias con la tecnología IAMF. Ya sea que los espectadores busquen amplificar los efectos de sonido de una escena de acción o mejorar el diálogo, IAMF les brinda la flexibilidad de personalizar el audio del contenido para una experiencia más personalizada.

▲ IAMF analiza los datos del contenido y permite que los espectadores ajusten y personalicen la configuración de audio. Al ver un partido, los usuarios pueden elegir directamente si enfatizan la voz del comentarista o los sonidos del propio juego.

Audio 3D en toda la industria con IAMF de código abierto

El código abierto es crucial para crear un estándar unificado en toda la industria. IAMF es el primer estándar de tecnología de audio de código abierto adoptado por AOM, lo que significa que tanto los creadores de contenido corporativos como independientes de toda la industria pueden acceder a la tecnología y ampliar su uso.

“Para permitir que las personas creen libremente contenido con tecnología de audio 3D, la tecnología relacionada debe estar abierta a todos“, afirmó Nam. “Proporcionar un marco completo de código abierto para audio 3D, desde la creación hasta la entrega y la reproducción, permitirá experiencias de contenido de audio aún más diversas en el futuro“.

De manera similar, Park destacó cómo la tecnología IAMF tendrá un gran impacto en el panorama del audio en el futuro. “Debido a que vivimos en una era dominada por la creación de contenido, la IAMF ayudará a liderar, expandir y transformar el ecosistema de audio 3D“, afirmó.

Éxito logrado a través de la cooperación

La investigación sobre IAMF comenzó en 2020 y tardó casi cuatro años en completarse. Gracias a una combinación de perseverancia y trabajo duro, el equipo pudo lograr el éxito.

“El proyecto implicó muchos días de trabajo ininterrumpido y hubo momentos en los que necesitábamos trabajar de noche debido a la diferencia horaria entre nuestra oficina y la de Google“, dijo Hwang. “A pesar de estos desafíos, al final me sentí orgulloso. Fue una gran oportunidad para trabajar con desarrolladores de otros países”.

Los equipos desarrollaron un sentido de camaradería a lo largo del camino y construyeron una base sólida de confianza y comprensión. “Un empleado de Google mencionó que esta asociación con Samsung ha sido la colaboración más agradable que ha establecido hasta ahora“, recordó Park. “Pudimos llevar a cabo este proyecto porque nuestros equipos confiaban unos en otros. Estoy muy orgulloso y agradecido por los esfuerzos y la cooperación de los miembros de nuestro equipo”.

▲ JeongHoon Park, Vicepresidente Ejecutivo Corporativo y Head del Equipo de Tecnología Visual de Samsung Research

Además, Park elogió las habilidades y las experiencias únicas de cada miembro del equipo que ayudaron a contribuir a la creación de IAMF. “WooHyun Nam desempeñó un papel decisivo al proponer ideas de desarrollo tecnológico, mientras que SungHee Hwang organizó y documentó las ideas de nuestro equipo de una manera clara“, dijo.

Una visión del ‘Sonido Samsung’

Tras su lanzamiento, el equipo de investigación de Samsung se dio cuenta de que la estandarización del audio espacial 3D marcaba una nueva era en la tecnología del sonido.

“Gracias a IAMF, podemos comenzar a investigar tecnologías que abrirán un mundo de posibilidades de audio“, afirmó Nam. En línea con esto, el equipo de Samsung Research está desarrollando actualmente una versión avanzada de la tecnología IAMF que puede aplicarse a diferentes sectores, como los dispositivos móviles, el metaverso, los videojuegos y más.

▲ Con sus esfuerzos combinados y su incansable perseverancia, el Equipo de Tecnología Visual de Samsung Research pudo crear con éxito un nuevo estándar para audio 3D

Dado el éxito de IAMF, el equipo de investigación de Samsung está motivado para crear una mejor tecnología de audio para los consumidores. Cada uno de los miembros del equipo compartió sus aspiraciones para el futuro del audio 3D.

Nam mencionó su deseo de crear tecnología de audio que sea más inmersiva. “Quiero crear una tecnología de audio 3D más avanzada que haga que los usuarios se sientan como si estuvieran realmente en la escena de una película, programa de televisión o evento en vivo“, dijo. “También espero continuar esta investigación hasta que el audio 3D se aplique a los celulares de Samsung“.

En términos más generales, Hwang habló sobre cómo espera que Samsung pueda crear una tecnología de audio incomparable que la coloque entre las otras compañías de audio líderes. “Mi objetivo es desarrollar una tecnología que los consumidores puedan distinguir fácilmente como ‘Sonido Samsung’ cuando la escuchen“, dijo. “Soy optimista y creo que el estándar de IAMF es un paso adelante hacia este sueño“.

“Mi esperanza es que la tecnología de sonido de Samsung permita que los consumidores disfruten de una experiencia de audio perfeccionada que esté a la par de las experiencias visuales actuales“, dijo Park. “Espero que los creadores de contenido utilicen la tecnología de audio de Samsung para hacer accesible el contenido de audio 3D. Además, nuestro objetivo es crear un entorno de apoyo que habilite a los investigadores a asumir desafíos audaces y emocionantes, como la expansión de la tecnología de audio de Samsung”.

Los estándares tecnológicos como IAMF harán que el entretenimiento sea más inmersivo para los espectadores en todos los ámbitos. El equipo de investigación de Samsung está allanando el camino para innovaciones que cambiarán el futuro del audio.

[1] Consorcio industrial sin ánimo de lucro creado para desarrollar y compartir tecnología de distribución multimedia, permitiendo a los creadores utilizarla sin preocuparse por los costes. Está gestionado por una alianza de 38 empresas, entre ellas Samsung Electronics, Google, Amazon, Apple y Meta. Los estándares tecnológicos como IAMF harán que el entretenimiento sea más inmersivo para los espectadores en todos los ámbitos. El equipo de investigación de Samsung está allanando el camino para innovaciones que cambiarán el futuro del audio.