Samsung Newsroom se reunió con Bill Mandel, vicepresidente, y Steve Larson, director de Digital Media Solutions, de Samsung Research America (SRA), para hablar de HDR10+ GAMING y de cómo esta tecnología está cambiando el sector de los videojuegos.

▲ Steve Larson (izquierda), Director y Bill Mandel, Vicepresidente,  de Digital Media Solutions, Samsung Research America

Los jugadores y creadores de juegos también merecen HDR

Aunque la tecnología HDR ha mejorado notablemente la experiencia visual en la televisión y el cine, su aplicación en los videojuegos ha sido limitada. Los motores de los juegos incorporan sistemas de gestión del color que ayudan al televisor o al monitor conectado a saber qué colores mostrar. Sin embargo, la falta de comunicación entre las pantallas y los motores de juego obliga a los usuarios a calibrar manualmente sus pantallas.

“HDR10+ GAMING establece una línea directa de comunicación entre la pantalla y el motor del juego”.

– Steve Larson, Samsung Research America

En la búsqueda de una solución, SRA comenzó a desarrollar HDR10+ GAMING. Al ajustar automáticamente la configuración HDR en función de las capacidades de la pantalla, HDR10+ GAMING desbloquea una experiencia visual de primera gracias a la precisión del color, el contraste y el brillo.

“HDR10+ GAMING establece una línea directa de comunicación entre la pantalla y el motor del juego”, afirma Larson. “Ahora la pantalla entiende lo que hace el motor del juego, y el motor del juego sabe lo que puede mostrar la pantalla. Eso produce un resultado visual mucho mejor”.

“Se trata de que los colores sean más fieles a la visión de los creadores de videojuegos”, afirma Mandel.

Diseñar una solución sencilla para los artistas

Los desarrolladores de videojuegos fueron los primeros en reclamar una nueva tecnología que abordara las limitaciones de HDR.

“La necesidad inicial vino de los propios desarrolladores de juegos que quieren que los juegos que construyen tengan el mejor aspecto posible”, dijo Mandel. “Estaban luchando para conseguir que los colores se vieran como esperaban a través de los monitores“.

▲ Bill Mandel, vicepresidente de Digital Media Solutions, explica cómo se presentó HDR10+ GAMING para ofrecer una mejor experiencia visual a todos los jugadores

“Queríamos que las especificaciones que publicamos fueran sencillas de utilizar para los desarrolladores de juegos, sin una carga pesada”, afirma Larson. “Una vez que integran nuestras especificaciones en su motor de juego, pueden utilizarlas en cualquier juego creado con ese motor. Esto simplifica significativamente la adopción en todo el sector porque no depende de determinadas configuraciones o dispositivos. Es muy fácil”.

Haciendo las cosas simples para los jugadores

Con HDR10+ GAMING, los jugadores ya no tienen que lidiar con diales y patrones de prueba para calibrar sus monitores.

“HDR10+ GAMING simplifica el proceso ajustando automáticamente la configuración de los juegos, igual que hace con las películas”, afirma Mandel. “Esto garantiza que los jugadores obtengan la mejor calidad de imagen sin complicaciones: solo tienen que encender el juego y listo”.

▲ Bill Mandel (arriba) y Steve Larson demuestran cómo HDR10+ GAMING eleva automáticamente la experiencia de juego.

Dado que HDR10+ GAMING funciona tanto en televisores como en monitores de juegos, los gamers ahora pueden disfrutar de una experiencia visual consistente con gráficos envolventes en todas las plataformas sin necesidad de configurar nada. Esta norma es especialmente importante, ya que los jugadores de hoy en día esperan gráficos fotorrealistas en los juegos actuales.

“Cuando se activa, el dispositivo identifica automáticamente que HDR10+ GAMING es una opción disponible en cualquier juego compatible y la aprovecha”, dijo Larson. “No hay necesidad de navegar por un menú oculto o ajustar la configuración”.

Reducción del umbral para la industria de los videojuegos

Para los desarrolladores de juegos, una gran ventaja de HDR10+ GAMING es que su implementación es gratuita. Con la interfaz de programación de aplicaciones (API) adecuada, pueden integrar HDR10+ GAMING en sus motores de juego existentes sin necesidad de capacitación especializada.

“Es simple. Una vez que [los desarrolladores] integran nuestras especificaciones en su motor de juego, las pueden utilizar en cualquier juego creado con ese motor”.

– Steve Larson, Samsung Research America

Poniendo estos estándares en acción, Samsung se asoció con NEXON en septiembre de 2023 para lanzar el primer título de HDR10+ GAMING del mundo, “The First Descendant”.

En Summer Game Fest celebrado el pasado mes de junio, la compañía presentó sus últimos monitores OLED Odyssey para videojuegos con funciones HDR10+ GAMING. La combinación de HDR10+ GAMING y los monitores para juegos Odyssey OLED de Samsung demuestra cómo la tecnología de visualización avanzada puede elevar la experiencia de juego en videojuegos como “Red Dead Redemption 2”.

Además, Samsung ha trabajado con socios como CD PROJEKT RED en “Cyberpunk 2077”, dando vida como nunca antes a la ficticia Night City, California, del juego. El ejemplar fue un gran éxito, vendiéndose más de 25 millones de copias en todo el mundo.

“Diseñamos el sistema para que fuera increíblemente sencillo de implementar”, afirma Larson. “De hecho, CD PROJEKT RED nos dijo que sabían que HDR10+ GAMING era algo que querían utilizar. Les impresionó lo rápido y fácil que era implementarlo. Su equipo fue capaz de ponerlo en marcha en medio día”.

“Es una tecnología de licencia gratuita. Veremos muchos más juegos y plataformas adoptando la tecnología”

– Bill Mandel, Vicepresidente de Samsung Research America

Un futuro radiante para HDR10+ GAMING

Samsung está tratando de ampliar HDR10+ GAMING para incluir motores de juego adicionales, en particular los que son más de nicho. La compañía ya está trabajando con los principales estudios y desarrolladores para añadir HDR10+ GAMING a sus motores patentados y a algunos de los más adoptados.

“A través de colaboraciones con empresas de juegos, ampliaremos el ecosistema HDR10+ GAMING, lo que garantizará una adopción más amplia y experiencias de juego más ricas”, afirmó Mandel.

Esta amplia red proporcionará a los desarrolladores de juegos un conjunto versátil y potente de herramientas para crear juegos visualmente impresionantes de forma más eficiente”.

▲ Steve Larson (izquierda) y Bill Mandel, director y vicepresidente, respectivamente, de Digital Media Solutions, Samsung Research America

“Como se trata de una tecnología de licencia gratuita, veremos cómo la adoptan muchos más juegos y plataformas”, prosigue Mandel. “Para los consumidores, significa una experiencia de juego coherente y envolvente en toda una gama de dispositivos, con una configuración mínima y el máximo impacto visual”.

Mandel y Larson prevén que en breve aumentará notablemente el número de desarrolladores, juegos y usuarios que aprovecharán HDR10+ GAMING.

“Esperen grandes cosas”, dijo Mandel.

El proyecto de rehabilitación cardíaca en el hogar HeartWise[1] de Samsung representa una solución a este desafío. Una colaboración entre Samsung Research[2] America, Samsung Electronics America y la organización de atención médica Kaiser Permanente, el programa HeartWise fue pionero como alternativa en el hogar a la rehabilitación cardíaca tradicional basada en un centro de atención médica asistida por dispositivos wearables de Samsung. Este año, el Journal of the American Medical Association, la revista médica líder, revisada por médicos, publicó un artículo[3] que muestra que el programa HeartWise produjo resultados que no solo igualaron la eficacia de los enfoques basados ​​en centros, sino que los superaron.

Para explorar el impacto que programas como HeartWise podrían tener en los modernos sistemas de atención médica, Samsung Newsroom se reunió con Ricky Y. Choi y Matthew Wiggins en el campus de Samsung Research America en Mountain View, California. Choi es el Head del Digital Health en Samsung Electronics America y profesor clínico en Stanford, y Wiggins es el Head del Laboratorio de Soluciones de Salud de Samsung Research America.

▲ (Desde izquierda a derecha) Matthew Wiggins, Head del Health Solutions Lab de Samsung Research America y Ricky Y. Choi, Head of Digital Health de Samsung Electronics America

–  Antes de entrar en los detalles de los resultados del estudio, ¿pueden darnos una idea de cómo este modelo de rehabilitación cardíaca en el hogar es diferente de los modelos tradicionales? ¿Y cómo funciona en sintonía con los sistemas establecidos?

[Ricky Y. Choi] En Samsung, creemos que nuestro papel es habilitar tecnológicamente un estándar de atención sin ser necesariamente el proveedor de atención primaria directa. Por lo tanto, estamos agregando otra herramienta para que la usen los proveedores de atención médica. Es una herramienta que permite a los pacientes participar en la atención desde sus hogares, de una manera cómoda y de un elevado compromiso que no pasa por alto el sistema de atención médica, pero agrega escalabilidad a la cantidad de pacientes a los que se puede brindar atención.

En la práctica, los pacientes hacen el programa desde casa y luego se comunican con su administrador de atención. Nuestro objetivo es encontrar la capa tecnológica que pueda permitir a los pacientes hacer ciertas cosas por su cuenta, desde casa, con controles periódicos con su administrador de casos.

– El estudio mostró que los pacientes [4] de recuperación en el hogar tuvieron una mejora del 18,2 % en las readmisiones en los 12 meses posteriores a la recuperación. El programa Samsung HeartWise ha demostrado que la recuperación cardíaca puede, con el apoyo adecuado, ser más eficaz utilizando este modelo en el hogar que en los centros de rehabilitación que mencionó. ¿Pueden hablar de la importancia de este descubrimiento en contexto para los lectores?

[Choi] El estudio confirma la idea de que los pacientes, con el apoyo adecuado, tienen más éxito en el seguimiento de la rehabilitación cardíaca en la comodidad de su hogar. Además, ese éxito se confirma en las medidas tradicionales de resultados de la atención médica, como una disminución asociada en la tasa de reingreso, que es una de las medidas de resultados económicos y de salud más importantes e indicadores de la calidad de la atención médica. Es extremadamente significativo que este sea el caso en diversas poblaciones.

[Matthew Wiggins] Otro aspecto importante del estudio es que demuestra que esto puede funcionar. Anteriormente, la gente decía: “Esto suena genial, pero debe haber evidencia de que los problemas no ocurrirán en el futuro. Necesita ser estudiado y probado”. Sin embargo, ahora estamos empezando a ver que este método sale bien comparado con los modelos tradicionales. De hecho, en este caso salió mejor.

– Un estudio anterior en el New England Journal of Medicine también mostró resultados positivos para los programas en el hogar para la recuperación cardíaca. ¿Cuáles eran sus expectativas al entrar en el estudio?

[Wiggins] A los pacientes de Kaiser Permanente en el programa les iba muy bien y estaban muy felices. Toda la información que habíamos apuntado a este programa, que combina los flujos de trabajo clínicos de Kaiser Permanente con la tecnología wearable de Samsung, ayudaría a los que están en el programa de rehabilitación cardíaca en el hogar tanto como a los que están en los programas en centros. Nos alegró ver que el estudio demostró lo que habíamos creído todo el tiempo.

[Choi] Todos estábamos satisfechos con los resultados. El estándar de atención es claro: los pacientes con ciertas afecciones y procedimientos cardíacos deben pasar por un programa de rehabilitación cardíaca. Sin embargo, muy pocos lo hacen. Parte de la razón es que para muchos de estos pacientes puede ser difícil llegar a un programa basado en un centro. Muchos programas basados ​​en centros tienen limitaciones de capacidad física y de personal. Un programa muy interesante que los pacientes pueden realizar en casa resuelve esos problemas. Así, los pacientes pueden concentrarse más en su salud.

– Este estudio involucró el uso de smartwatches Galaxy, incluidas funciones que están disponibles comercialmente en la última línea de smartwatches Galaxy. ¿Qué papel jugaron estos dispositivos en la investigación y qué características se utilizan en el proceso?

[Choi] Nuestro programa en el hogar se basa en una solución digital que incluye un smartwatch de Samsung, una aplicación para smartwatch y una aplicación que los pacientes descargan en su teléfono personal. Los smartwatches recopilan datos de biosensores, guían a los pacientes sobre las actividades y recopilan información clave ingresada por el paciente o resultados informados por el paciente.

[Wiggins] Los smartwatches de Samsung utilizados en el programa brindan al usuario información sobre el conteo de pasos, la frecuencia cardíaca y la duración del ejercicio para facilitar el nivel de esfuerzo y la duración adecuados para la asignación del programa de rehabilitación. También permiten que los pacientes informen cómo se sintieron durante su sesión de ejercicio. Luego proporciona esta información a su equipo de atención para mantenerlos al día durante los controles periódicos.

Otro beneficio de la rehabilitación cardíaca en el hogar es la comodidad para el paciente, y los relojes inteligentes juegan un papel importante en esa comodidad. Los pacientes pueden realizar sus sesiones de ejercicio en su propio horario en el lugar que elijan con un smartwatch de Samsung en su muñeca, en lugar de toda la gestión que debe programarse y viajar, a veces a una gran distancia. Esto conduce a una mayor participación y cumplimiento de la rehabilitación.

– El programa HeartWise rastreó la recuperación de más de 13,000 pacientes. Este estudio solo ha visto la participación de más de 2.500 personas. Desde una perspectiva de investigación, ¿cuáles son los beneficios de un número tan grande de participantes?

[Wiggins] El gran tamaño de la muestra da más confianza a los resultados, pero en mi opinión, la inclusión de la muestra de pacientes cardíacos de mayor riesgo que los que participaron en estudios anteriores también es importante. Además, la diversidad del grupo de sujetos es alentadora, ya que representa una muestra demográfica más amplia de la población de los EE. UU. y las situaciones en las que el programa deberá operar para tener éxito a nivel nacional.

– Ricky, usted es un médico que trabaja en estrategia empresarial y Matthew, eres el Head del Laboratorio de Soluciones de Salud de Samsung. ¿Cómo fue traer sus respectivas áreas de interés y experiencia a este proyecto?

[Choi] Soy profesor clínico en Stanford y médico en ejercicio con casi 15 años de experiencia práctica. Vine a Samsung porque quería mover la aguja en salud a través de soluciones innovadoras a escala. HeartWise es un gran ejemplo de lo que el poder de la innovación de Samsung podría hacer en la salud. Ha sido un privilegio trabajar con colegas tan brillantes y con vocación misionera en investigación y desarrollo.

[Wiggins] Cerrar la brecha entre lo que puede hacer la tecnología wearable y cómo puede integrarse en los flujos de trabajo clínicos del mundo real es una pieza fundamental para habilitar el futuro de la salud digital. Es un honor para mí ser parte de esta asociación innovadora y colaborativa que está trabajando con éxito a través de todos estos desafíos.

[1] Samsung HeartWise está destinado a rastrear o fomentar la salud general, la actividad saludable y las opciones de salud que, como parte de un estilo de vida saludable, pueden ayudar a mejorar la vida de las personas que viven con ciertas enfermedades o afecciones crónicas. Samsung HeartWise no es una aplicación médica y, como tal, no está diseñado para usarse en el diagnóstico de enfermedades agudas o crónicas u otras condiciones, o en la cura, mitigación, tratamiento o prevención de enfermedades agudas o crónicas u otras condiciones. Debes buscar el consejo médico de un médico antes de comenzar cualquier nuevo estilo de vida o régimen de acondicionamiento físico. El uso de Samsung HeartWise no constituye un consejo médico. La aplicación Samsung HeartWise está disponible en App Store para su descarga, pero se requiere un nombre de usuario y una contraseña proporcionados por Kaiser Permanente cuando esté bajo el cuidado de un médico.

[2] Samsung Research, que actúa como centro de investigación y desarrollo avanzado de Samsung Electronics, lidera el desarrollo de tecnologías futuras para la división Device eXperience (DX) de la empresa.

[3] Comparación de la rehabilitación cardíaca domiciliaria frente a la hospitalización, el cumplimiento de la medicación y el control de los factores de riesgo en pacientes con enfermedades cardiovasculares.

[4] Este estudio de cohorte retrospectivo se realizó entre pacientes de Kaiser Permanente del Sur de California (KPSC), un sistema integrado de atención de la salud que atiende a aproximadamente 4,7 millones de pacientes, quienes participaron en CR entre el 1 de abril de 2018 y el 30 de abril de 2019, y con seguimiento el 30 de abril de 2020. Los datos se analizaron desde enero de 2021 hasta enero de 2022

Como tantas grandes innovaciones, la ultima tecnología UDC fue un esfuerzo grupal, impulsado por los valiosos comentarios de los expertos y los consumidores de Samsung. Para aprender más sobre el UDC mejorado para Galaxy Z Fold4, Samsung Newsroom habló con los expertos de Samsung Research [1]  que colaboraron en la tecnología.

Continua leyendo para ver lo que John Seok-Jun Lee, Líder del área Cámara Computacional en Samsung Research America (SRA), y Alok Shukla, Líder del área Soluciones de Visión de IA en Samsung R&D Institute India-Bangalore (SRI-B), tienen que decir sobre su colaboración detrás de traer tecnología UDC mejorada.

▲ A la izquierda:  John Seok-Jun Lee. Líder del área Cámara Computacional en Samsung Research America.  A la derecha: Alok Shuka. Líder del área Soluciones de IA en Samsung R&D Institute India-Bangalore.

John Seok-Jun Lee encabeza un equipo de expertos en fotografía computacional de clase mundial, encargados de desarrollar imágenes computacionales basadas en IA para conservar más detalles en las fotos tomadas con UDC.

Laboratorio de innovación de procesadores móviles (MPI) de SRA:

• Tiene como objetivo desarrollar las mejores cámaras del mundo en smartphones Galaxy, incluida la UDC en Galaxy Z Fold3 y Z Fold4
• Lidera la I+D en procesamiento de múltiples fotogramas, canalizaciones de imágenes computacionales y tecnología de procesamiento de píxeles de IA para lograr la mejor calidad de imagen de smartphone del mundo.
• Diferencia la experiencia del usuario de la cámara Samsung Galaxy al comercializar las tecnologías desarrolladas a través de la colaboración con los grupos de I+D SRI-B y MX.

Alok Shuka dirige un equipo que se especializa en el desarrollo integral de soluciones de cámara para dispositivos emblemáticos que utilizan IA (imágenes computacionales, reconocimiento humano e inteligencia profunda) para ofrecer las mejores funciones de cámara.

Grupo de soluciones de visión AI de SRI-B:

• Tiene una amplia experiencia en cámaras al trabajar en varios smartphones Galaxy
• Trabaja en estrecha colaboración con los equipos de I+D de Samsung en todo el mundo para ofrecer a los consumidores la mejor experiencia de cámara posible.

– ¿Qué es una cámara debajo de la pantalla (UDC)?

Seok-Jun: Una cámara debajo de la pantalla (UDC) es una solución de cámara innovadora que permite una experiencia de visualización ininterrumpida en un dispositivo móvil ocultando la cámara debajo de la pantalla y dedicando toda la pantalla a los usuarios mientras se ejecutan las aplicaciones. No solo requiere innovación de hardware al colocar una cámara debajo de un panel de visualización, sino que también requiere innovación de algoritmos para restaurar la calidad de la imagen, uno de los problemas de restauración de imágenes más complejos.

– ¿Cómo funciona UDC? 

Alok: En UDC, una cámara frontal se encuentra debajo de la pantalla. La densidad de píxeles de la pantalla se reduce en esta área, lo que permite que la pantalla muestre imágenes sin obstáculos, pero al mismo tiempo, no impide que la luz llegue a la cámara cuando está en uso. Como la cámara se coloca debajo de la pantalla, UDC puede sufrir una calidad de imagen deficiente causada por artefactos de difracción, lo que da como resultado destellos, saturación, desenfoque y neblina. Por lo tanto, si bien la tecnología UDC brinda una mejor experiencia de visualización, también afecta la calidad de imagen de la cámara y otras tareas de visión posteriores. Estas distorsiones complejas y diversas hacen que la restauración de imágenes UDC sea extremadamente desafiante.

– ¿Por qué UDC es una tecnología importante cuando se trata de Galaxy Z Fold4? ¿Qué valor proporciona a los clientes?

Seok-Jun: Los dispositivos plegables de Samsung están diseñados para ser nuevos y diferentes, combinando un smartphone con experiencias de visualización inmersivas en un solo dispositivo móvil a través de una tecnología de visualización innovadora. Cuando está plegado, proporciona un uso similar al de un smartphone y, cuando está desplegado, la pantalla ofrece una experiencia más inmersiva y productiva. Nuestra investigación de consumo mostró que los usuarios de la serie Galaxy Z Fold prefieren la cámara de la pantalla de cubierta para capturar fotos y selfies y la pantalla principal inmersiva para tareas más productivas como mirar videos, jugar games y trabajar en documentos. Por lo tanto, pensamos que la tecnología UDC sería la opción perfecta para satisfacer las necesidades de una pantalla ininterrumpida sin dejar de ser capaz de realizar tareas como abrir videollamadas. Samsung lanzó la primera solución UDC plegable en el Galaxy Z Fold3 y mejoró aún más su calidad en el Galaxy Z Fold4.

Alok: Galaxy Z Fold4 realmente despliega un mundo de visualización inmersiva. La tecnología UDC está en el centro de la búsqueda de una verdadera pantalla completa. Al combinar la innovación líder en tecnología de visualización con técnicas avanzadas de IA para la restauración de imágenes, Galaxy Z Fold4 brinda el equilibrio perfecto entre la calidad de la pantalla y la calidad de la imagen de la cámara.

– ¿Cómo ha mejorado la calidad de imagen de la cámara desde el Galaxy Z Fold3?

Alok: Samsung Galaxy Z Fold3 mostró la primera tecnología UDC del mundo en un plegable. Después del lanzamiento al mercado del Galaxy Z Fold3, uno de los comentarios clave de los consumidores fue hacer que la UDC fuera menos visible. En el Galaxy Z Fold4, la disposición de los subpíxeles se optimizó para ocultarla aún más.

Como se mencionó anteriormente, cuando la cámara se coloca debajo de la pantalla, esto puede causar una calidad de imagen deficiente causada por artefactos de difracción, que provocan destellos, saturación, desenfoque y neblina.

Es por eso que, en Galaxy Z Fold4, hemos aprovechado el poder de la IA, respaldada con el procesamiento de múltiples cuadros para desarrollar una nueva canalización de imágenes computacionales para la restauración de imágenes UDC.

SRI-B, junto con Visual SW R&D Group en MX Business, se enfocaron en desarrollar la Restauración de Imágenes con IA para la captura de fotografías y la vista previa para compensar la difracción óptica en UDC. Al mismo tiempo, el laboratorio de innovación de procesadores móviles (MPI) de SRA mejoró el algoritmo de fotografía computacional de fotogramas múltiples. El UDC de Galaxy Z Fold4 resuelve desafíos técnicos claves en calidad de imagen para brindar una experiencia única a los clientes finales.

– Guíenos a través del viaje del proyecto de asociación SRA-SRI. ¿Por qué sus dos equipos colaboraron?

Seok-Jun: El SRA MPI Lab ha estado trabajando con SRI-B a lo largo de toda la historia de MPI en Samsung, desde la comercialización de la cámara Galaxy Note4 de 2014 hasta el Galaxy Z Fold4 y Z Flip4 de 2022. SRA MPI ha liderado la investigación y el desarrollo de la tecnología de procesamiento de múltiples cuadros (MFP) MX para UDC, modo nocturno, Expert RAW y otras tecnologías. SRI-B ha contribuido a todas las impresoras multifunción de SRA MPI comercializadas al proporcionar un software de cámara increíble, ajuste de calidad de imagen y recursos para la comercialización, así como la I+D de cámaras AI. Nuestra colaboración de tres vías con el grupo MX R&D, SRA MPI y SRI-B ha sido un éxito, especialmente cuando el equipo mundial utilizó las diferencias de zona horaria de manera efectiva para completar hitos a tiempo para un proyecto tan complicado. Siempre es un placer trabajar con ellos y ofrecer juntos los éxitos de las cámaras de los dispositivos Galaxy para lograr nuestro objetivo mutuo de ser la mejor experiencia de cámara para smartphones del mundo.

– Explique su función laboral y las contribuciones de su equipo para UDC. ¿Cómo contribuyó a hacer la mejor experiencia de usuario posible?

Alok: Samsung Galaxy Z Fold4 UDC fue un proyecto de I+D complejo y el papel de SRI-B fue pensar en términos de extremo a extremo para la mejor experiencia del consumidor. Esto requería experiencia en múltiples dominios y una profunda colaboración entre varios equipos. Los expertos de SRI-B, SRA-MPI Lab y MX Visual SW R&D Group trabajaron a la perfección para lograr una experiencia UDC integral.

SRI-B también desempeñó un papel clave en la utilización de una Unidad de Procesamiento Neuronal (NPU) para ejecutar el modelo de IA, logrando un rendimiento en tiempo real en las vistas previas y un tiempo de procesamiento de captura significativamente más rápido que en Samsung Galaxy Z Fold3 UDC. Las vistas previas de la cámara, las grabaciones de video y los escenarios de videollamadas necesitan un rendimiento en tiempo real sin perder ningún cuadro. La restauración de UDC basada en IA acelerada con NPU para el procesamiento de vista previa se aplicó por primera vez en Samsung Galaxy Z Fold4. Aunque no se requería el procesamiento en tiempo real, dado que la captura de la cámara requiere una calidad de imagen más alta que una vista previa, se deseaba lograr una mejor calidad de imagen con menos tiempo de procesamiento para la experiencia del usuario.

– ¿Cuáles fueron algunos de los desafíos que enfrentó al desarrollar esta tecnología y cómo los superó?

Seok-Jun: La baja transmisión y difracción de la luz son los principales desafíos para la tecnología de cámaras UDC. Aún así, un desafío más, diferente de una imagen de cámara perforada, es que la calidad de captura de UDC se ve afectada no solo por el módulo de la cámara, sino también por el panel de visualización. El algoritmo 3D ISP basado en IA de SRA MPI se diseñó con la flexibilidad necesaria para ajustar la calidad de la imagen de salida con las diferentes características de visualización. Tener tanta flexibilidad en 3D ISP ayudó a superar tales desafíos.

Alok: El enfoque clave de SRI-B fue desarrollar un módulo de restauración de imágenes de IA para Samsung Galaxy Z Fold4 UDC. Estas restauraciones son necesarias tanto para el modo de captura de fotos como para el modo de video. Los escenarios de grabación de video y videollamadas tienen requisitos estrictos para el procesamiento en tiempo real dentro de las limitaciones del consumo actual.

La restauración de UDC basada en IA se aplicó por primera vez en Samsung Galaxy Z Fold4 UDC para video. Para lograr una experiencia de mejor calidad de video que Galaxy Z Fold3, tuvimos que hacer que el modelo de IA fuera más liviano y al mismo tiempo lograr una buena calidad de restauración. Se realizaron múltiples experimentos en diseño y capacitación de redes para lograr una buena calidad en tiempo real. SRI-B utilizó ampliamente NPU y técnicas de cuantificación avanzadas para preparar un modelo de IA más liviano y altamente optimizado que logra un rendimiento en tiempo real con un bajo consumo de corriente.

– ¿Cuál es su visión para futuras iteraciones de UDC en Samsung?

Alok: El UDC del Samsung Galaxy Fold4 ha abierto una nueva dimensión al factor de forma de la cámara del smartphone. UDCs en el futuro permitirán colocar sensores de cámara más grandes y múltiples cámaras en posiciones flexibles sin comprometer la experiencia de visualización. Otro gran desafío es la adopción masiva de la tecnología UDC en más productos como la cámara frontal principal. Para que esto suceda, deberá haber una mejora significativa en la calidad de imagen de la cámara, el tiempo de procesamiento y la experiencia de visualización.

Seok-Jun: Dado que el Galaxy Z Fold4 UDC brinda una experiencia mucho mejor en términos de ocultar la cámara debajo de la pantalla y mejorar la calidad de la imagen, la dirección de I+D para los próximos dispositivos insignia trabajará para hacer que la tecnología UDC sea completamente invisible. Esto proporcionará la mejor experiencia de pantalla móvil inmersiva ininterrumpida mientras se logra la misma calidad de imagen que una cámara perforada.

[1] Samsung Research, que actúa como centro de investigación y desarrollo avanzado de Samsung Electronics, lidera el desarrollo de tecnologías futuras para la división Device eXperience (DX) de la compañía.