Dentro del Instituto de Tecnología Vellore en Chennai, India, hay un laboratorio repleto de equipos de audio futurista. En él, se pueden encontrar maniquíes, conocidos en la industria como simuladores de cabeza y torso, así como micrófonos binaurales y audífonos. Estos equipos se almacenan en cámaras especiales, tratadas con un avanzado sistema de absorción acústica, lo que convierte a este laboratorio en el primero en su tipo en la India. Ahora Imaginen que una instalación así se utiliza para desarrollar los últimos equipos de alta fidelidad (Hi-Fi) de próxima generación.  

Aquí es donde el Instituto de Tecnología Vellore colabora con Samsung para producir y desarrollar datos e ideas que impulsan los últimos modelos de Inteligencia Artificial (IA) para las capacidades lingüísticas de Galaxy AI. El centro se desarrolló como parte de los Samsung SEED (Students Ecosystem for Engineered Data) Labs, una iniciativa que desde 2021 permite al personal universitario, estudiantes y becarios en India trabajar en proyectos de Samsung. Este es solo uno de varios programas universitarios financiados por la marca, en el que los alumnos tienen la oportunidad de trabajar en proyectos con expertos técnicos de la empresa.  

“Como estudiante, me encanta poder trabajar en varios proyectos con una empresa conocida y respetada como Samsung“, asegura Yashika Ilanchezhiyan, estudiante de Samsung SEED. “Me dieron la confianza para aprender nuevas habilidades de manera práctica y siento que estoy marcando una diferencia real en los productos actuales y futuros“. 

“En este tipo de colaboración todos salen ganando“, afirma Giridhar Jakki, director de IA para idiomas en el Instituto de Investigación y Desarrollo de India – Bangalore (SRI-B). “Gracias a nuestros proyectos con universidades, podemos acceder a conocimientos adicionales y a conjuntos de datos personalizados. A cambio, las universidades asociadas reciben inversión, incentivos financieros y asesoramiento especializado de Samsung“. 

Reducir las barreras del idioma 

SRI-B ha colaborado con equipos de todo el mundo para desarrollar modelos de inteligencia artificial para el inglés británico, indio y australiano, así como para los idiomas tailandés, vietnamita e indonesio. Recientemente, los principales ingenieros de otros centros de investigación de Samsung visitaron Bangalore (India), donde el equipo de SRI-B ayudó a desarrollar la tecnología para incorporar el vietnamita, el tailandés y el indonesio a Galaxy AI. De este modo, SRI-B se situó en una posición ideal para desarrollar el idioma hindi para Galaxy AI. 

Según Jakki, “Cada idioma tiene sus desafíos. Pero cuando pensamos en el objetivo final de brindarle a las personas la capacidad de comunicarse en otros idiomas, todo el esfuerzo vale la pena. No veíamos la hora de incorporar el hindi a Galaxy AI“. 

Desarrollar el modelo de IA en hindi no fue fácil. El equipo tuvo que garantizar la inclusión de más de 20 dialectos regionales, inflexiones vocales, puntuación y coloquialismos. Además, los hablantes de hindi suelen mezclar palabras en inglés en sus conversaciones, lo que requirió que el equipo realizara varias sesiones de entrenamiento con modelos de IA, con una combinación de datos traducidos y transliterados.  

“El hindi tiene una estructura fonética compleja que incluye sonidos retroflejos, los cuales se producen al curvar la lengua hacia atrás y que no existen en muchos otros idiomas“, afirma Jakki. “Para desarrollar el elemento de síntesis de voz en la solución de IA, analizamos cuidadosamente los datos con lingüistas nativos para comprender todos los sonidos únicos y creamos un conjunto especial de fonemas para abarcar dialectos específicos del idioma“. 

Los esfuerzos de colaboración entre Samsung y sus socios académicos fueron fundamentales para desarrollar el modelo de lenguaje de inteligencia artificial que reflejara los matices culturales de las regiones de la India. El Instituto de Tecnología Vellore contribuyó significativamente, al obtener casi un millón de líneas de datos de audio segmentados y organizados de voz, palabras y comandos conversacionales. Estos datos fueron un componente clave para una tarea tan crítica como la incorporación del cuarto idioma más hablado del mundo a Galaxy AI. Trabajar con universidades garantizó que Samsung utilizara información de la más alta calidad.  

Conexiones globales que generan grandes impactos 

 Este proyecto resume a la perfección la filosofía de colaboración abierta de Samsung y la convicción de la compañía de que compartir conocimientos y perspectivas garantiza una innovación significativa. En el caso de SRI-B, no solo implica trabajar con el mundo académico, también compartir ideas y prácticas recomendadas con otros centros de investigación de Samsung en todo el mundo. 

“Estoy muy orgulloso de lo que hemos logrado con la ayuda de nuestros socios“, afirma Jakki. “La innovación en IA mediante la colaboración es una gran parte de lo que hacemos. Continuaremos mejorando la comprensión, recopilación y análisis de datos lingüísticos para que más personas puedan acceder a las herramientas de IA en el futuro“. 

Continua leyendo para ver lo que John Seok-Jun Lee, Head de la Parte de Cámara Computacional en Samsung Research America (SRA), y Alok Shukla, Head de la Parte de Soluciones de Visión de IA en Samsung R&D Institute India-Bangalore (SRI-B), tienen que decir sobre su colaboración detrás de traer tecnología UDC mejorada.

Las cámaras para selfies son una parte vital de cualquier smartphone, pero encontrar el lugar perfecto para la cámara frontal a menudo puede ser un obstáculo para una experiencia de visualización perfecta. Sin embargo, gracias a Under Display Camera (UDC), los usuarios pueden despedirse del pequeño punto negro en la parte frontal de sus pantallas. Samsung Electronics le ha dado a UDC una importante actualización en el recién lanzado Galaxy Z Fold4, ofreciendo a los usuarios una experiencia de pantalla completa aún más inmersiva e ininterrumpida.

John Seok-Jun Lee, Head de la Parte de Cámara Computacional en Samsung Research America, lidera un equipo de expertos en fotografía computacional de clase mundial, encargados de desarrollar imágenes computacionales basadas en IA para conservar más detalles en las fotos tomadas con UDC.

Laboratorio de innovación de procesadores móviles (MPI) de SRA

• Tiene como objetivo desarrollar las mejores cámaras del mundo en smartphones Galaxy, incluida la UDC en Galaxy Z Fold3 y Z Fold4
• Lidera la I+D en procesamiento de múltiples fotogramas, canalizaciones de imágenes computacionales y tecnología de procesamiento de pixeles de IA para lograr la mejor calidad de imagen de smartphone del mundo.
• Diferencia la experiencia del usuario de la cámara Samsung Galaxy al comercializar las tecnologías desarrolladas a través de la colaboración con los grupos de I+D SRI-B y MX.

Alok Shuka, Head de la Parte de Soluciones de IA en Samsung R&D Institute India-Bangalore, dirige un equipo que se especializa en el desarrollo integral de soluciones de cámara para dispositivos emblemáticos que utilizan IA (imágenes computacionales, reconocimiento humano e inteligencia profunda) para ofrecer las mejores funciones de cámara.

Grupo de soluciones de visión AI de SRI-B

• Tiene una amplia experiencia en cámaras al trabajar en varios smartphones Galaxy
• Trabaja en estrecha colaboración con los equipos de I+D de Samsung en todo el mundo para ofrecer a los consumidores la mejor experiencia de cámara posible.

¿Qué es una cámara debajo de la pantalla (UDC)?

Seok-Jun: una cámara debajo de la pantalla (UDC) es una solución de cámara innovadora que permite una experiencia de visualización ininterrumpida en un dispositivo móvil ocultando la cámara debajo de la pantalla y dedicando toda la pantalla a los usuarios mientras se ejecutan las aplicaciones. No solo requiere innovación de hardware al colocar una cámara debajo de un panel de visualización, también requiere innovación de algoritmos para restaurar la calidad de la imagen, uno de los problemas de restauración de imágenes más complejos.

¿Cómo funciona UDC?

Alok: en UDC, una cámara frontal se encuentra debajo de la pantalla. La densidad de píxeles de la pantalla se reduce en esta área, lo que permite que la pantalla muestre imágenes sin obstáculos, pero al mismo tiempo, no impide que la luz llegue a la cámara cuando está en uso. Como la cámara se coloca debajo de la pantalla, UDC puede sufrir una calidad de imagen deficiente causada por artefactos de difracción, lo que da como resultado destellos, saturación, desenfoque y neblina. Por lo tanto, si bien la tecnología UDC brinda una mejor experiencia de visualización, también afecta la calidad de imagen de la cámara y otras tareas de visión posteriores. Estas distorsiones complejas y diversas hacen que la restauración de imágenes UDC sea extremadamente desafiante.

¿Por qué UDC es una tecnología importante cuando se trata de Galaxy Z Fold4? ¿Qué valor proporciona a los clientes?

Seok-Jun: los dispositivos plegables de Samsung están diseñados para ser nuevos y diferentes, combinando un smartphone con experiencias de visualización inmersivas en un solo dispositivo móvil a través de una tecnología de visualización innovadora. Cuando está plegado, proporciona un uso similar al de un smartphone y, cuando está desplegado, la pantalla ofrece una experiencia más inmersiva y productiva. Nuestra investigación de consumo mostró que los usuarios de la serie Galaxy Z Fold prefieren la cámara de la pantalla de cubierta para capturar fotos y selfies y la pantalla principal inmersiva para tareas más productivas como mirar videos, jugar y trabajar en documentos. Por lo tanto, pensamos que la tecnología UDC sería la opción perfecta para satisfacer las necesidades de una pantalla ininterrumpida sin dejar de ser capaz de realizar tareas como abrir videollamadas. Samsung lanzó la primera solución UDC plegable en Galaxy Z Fold3 y mejoró aún más su calidad en Galaxy Z Fold4.

Alok: Galaxy Z Fold4 realmente despliega un mundo de visualización inmersiva. La tecnología UDC está en el centro de la búsqueda de una verdadera pantalla completa. Al combinar la innovación líder en tecnología de visualización con técnicas avanzadas de IA para la restauración de imágenes, Galaxy Z Fold4 brinda el equilibrio perfecto entre la calidad de la pantalla y la calidad de la imagen de la cámara.

¿Cómo ha mejorado la calidad de imagen de la cámara desde el Galaxy Z Fold3?

Alok: Samsung Galaxy Z Fold3 mostró la primera tecnología UDC del mundo en un plegable. Después del lanzamiento al mercado de Galaxy Z Fold3, uno de los comentarios clave de los consumidores fue hacer que la UDC fuera menos visible. En Galaxy Z Fold4, la disposición de los subpixeles se optimizó para ocultarla aún más.

Como se mencionó anteriormente, cuando la cámara se coloca debajo de la pantalla, esto puede causar una calidad de imagen deficiente causada por artefactos de difracción, que provocan destellos, saturación, desenfoque y neblina.

Es por eso que, en Galaxy Z Fold4, aprovechamos el poder de la IA, respaldada con el procesamiento de múltiples cuadros para desarrollar una nueva canalización de imágenes computacionales para la restauración de imágenes UDC.

SRI-B, junto con Visual SW R&D Group en MX Business, se enfocaron en desarrollar la Restauración de Imágenes con IA para la captura de fotografías y la vista previa para compensar la difracción óptica en UDC. Al mismo tiempo, el laboratorio de innovación de procesadores móviles (MPI) de SRA mejoró el algoritmo de fotografía computacional de fotogramas múltiples. El UDC de Galaxy Z Fold4 resuelve desafíos técnicos claves en calidad de imagen para brindar una experiencia única a los clientes finales.

Guíanos a través del viaje del proyecto de asociación SRA-SRI. ¿Por qué sus dos equipos colaboraron?

Seok-Jun: El SRA MPI Lab ha estado trabajando con SRI-B a lo largo de toda la historia de MPI en Samsung, desde la comercialización de la cámara Galaxy Note4 de 2014 hasta Galaxy Z Fold4 y Z Flip4 de 2022. SRA MPI ha liderado la investigación y el desarrollo de la tecnología de procesamiento de múltiples cuadros (MFP) MX para UDC, modo nocturno, Expert RAW y otras tecnologías. SRI-B ha contribuido a todas las impresoras multifunción de SRA MPI comercializadas al proporcionar un software de cámara increíble, ajuste de calidad de imagen y recursos para la comercialización, así como la I+D de cámaras AI. Nuestra colaboración de tres vías con el grupo MX R&D, SRA MPI y SRI-B ha sido un éxito, especialmente cuando el equipo mundial utilizó las diferencias de zona horaria de manera efectiva para completar hitos a tiempo para un proyecto tan complicado. Siempre es un placer trabajar con ellos y ofrecer juntos los éxitos de las cámaras de los dispositivos Galaxy para lograr nuestro objetivo mutuo de ser la mejor experiencia de cámara para smartphones del mundo.

Explique su trabajo y las contribuciones de su equipo para UDC. ¿Cómo contribuyó a hacer la mejor experiencia de usuario posible?

Alok: Samsung Galaxy Z Fold4 UDC fue un proyecto de I+D complejo y el papel de SRI-B fue pensar en términos de extremo a extremo para la mejor experiencia del consumidor. Esto requería experiencia en múltiples dominios y una profunda colaboración entre varios equipos. Los expertos de SRI-B, SRA-MPI Lab y MX Visual SW R&D Group trabajaron a la perfección para lograr una experiencia UDC integral.

SRI-B también desempeñó un papel clave en el uso de una Unidad de Procesamiento Neuronal (NPU) para ejecutar el modelo de IA, logrando un rendimiento en tiempo real en las vistas previas y un tiempo de procesamiento de captura significativamente más rápido que en Samsung Galaxy Z Fold3 UDC. Las vistas previas de la cámara, las grabaciones de video y los escenarios de videollamadas necesitan un rendimiento en tiempo real sin perder ningún cuadro. La restauración de UDC basada en IA acelerada con NPU para el procesamiento de vista previa se aplicó por primera vez en Samsung Galaxy Z Fold4. Aunque no se requería el procesamiento en tiempo real, dado que la captura de la cámara requiere una calidad de imagen más alta que una vista previa, se deseaba lograr una mejor calidad de imagen con menos tiempo de procesamiento para la experiencia del usuario.

¿Cuáles fueron algunos de los desafíos que enfrentó al desarrollar esta tecnología y cómo los superó?

Seok-Jun: la baja transmisión y  difracción de la luz son los principales desafíos para la tecnología de cámaras UDC. Aún así, un desafío más, diferente de una imagen de cámara perforada, es que la calidad de captura de UDC se ve afectada no solo por el módulo de la cámara, también por el panel de visualización. El algoritmo 3D ISP basado en IA de SRA MPI se diseñó con la flexibilidad necesaria para ajustar la calidad de la imagen de salida con las diferentes características de visualización. Tener tanta flexibilidad en 3D ISP ayudó a superar tales desafíos.

Alok: el enfoque clave de SRI-B fue desarrollar un módulo de restauración de imágenes de IA para Samsung Galaxy Z Fold4 UDC. Estas restauraciones son necesarias tanto para el modo de captura de fotos como para el modo de video. Los escenarios de grabación de video y videollamadas tienen requisitos estrictos para el procesamiento en tiempo real dentro de las limitaciones del consumo actual.

La restauración de UDC basada en IA se aplicó por primera vez en Samsung Galaxy Z Fold4 UDC para video. Con el fin de lograr una experiencia de mejor calidad de video que Galaxy Z Fold3, tuvimos que hacer que el modelo de IA fuera más liviano y al mismo tiempo lograr una buena calidad de restauración. Se realizaron múltiples experimentos en diseño y capacitación de redes para lograr una buena calidad en tiempo real. SRI-B utilizó ampliamente NPU y técnicas de cuantificación avanzadas para preparar un modelo de IA más liviano y altamente optimizado que logra un rendimiento en tiempo real con un bajo consumo de corriente.

¿Cuál es su visión para futuras iteraciones de UDC en Samsung?

Alok: el UDC de Samsung Galaxy Fold4 ha abierto una nueva dimensión al factor de forma de la cámara del smartphone. UDCs en el futuro permitirán colocar sensores de cámara más grandes y múltiples cámaras en posiciones flexibles sin comprometer la experiencia de visualización. Otro gran desafío es la adopción masiva de la tecnología UDC en más productos como la cámara frontal principal. Para que esto suceda, deberá haber una mejora significativa en la calidad de imagen de la cámara, el tiempo de procesamiento y la experiencia de visualización.

Seok-Jun: dado que Galaxy Z Fold4 UDC brinda una experiencia mucho mejor en términos de ocultar la cámara debajo de la pantalla y mejorar la calidad de la imagen, la dirección de I+D para los próximos dispositivos insignia trabajará para hacer que la tecnología UDC sea completamente invisible. Esto proporcionará la mejor experiencia de pantalla móvil inmersiva ininterrumpida mientras se logra la misma calidad de imagen que una cámara perforada.

[1] Samsung Research, que actúa como centro de investigación y desarrollo avanzado de Samsung Electronics, lidera el desarrollo de tecnologías futuras para la división Device eXperience (DX) de la compañía.