Samsung Newsroom conversó con YoungGeol Kim, del Equipo de Tecnología Visual de Samsung Research, y Sang-uk Park, responsable del desarrollo de cámaras en el negocio Mobile eXperience (MX), para conocer cómo Portrait Video pasó de ser un concepto de investigación a convertirse en una función de cámara Galaxy.

Un nuevo nivel de profundidad en Portrait Video

P. ¿Qué es Portrait Video y qué ha cambiado con la nueva serie Galaxy Z?

Park: Portrait Video mantiene enfocado al sujeto principal mientras desenfoca suavemente el fondo, creando un efecto cinematográfico que ayuda a destacar al sujeto.

En la serie Galaxy Z, el nivel de desenfoque cambia de forma natural según la distancia entre el sujeto y el fondo. Las pequeñas luces del fondo se muestran con un Bokeh suave y redondeado, similar al que produce un lente de gran apertura. De esta manera, los usuarios pueden dirigir la atención hacia el sujeto y capturar videos con mayor profundidad y atmósfera desde su smartphone, sin necesidad de utilizar equipo profesional adicional.

Los usuarios también pueden cambiar el enfoque a otro sujeto o ajustar el nivel de desenfoque después de grabar.

P. ¿Qué inspiró la tecnología detrás de Portrait Video?

Kim: La fotografía ha sido mi pasatiempo durante 25 años. Esa pasión me llevó a investigar y desarrollar tecnologías para cámaras, además de despertar un interés constante por las características visuales únicas de los lentes.

A medida que las cámaras de los smartphones avanzaron rápidamente, la fotografía incorporó nuevas funciones y mejoras en la calidad de imagen. El video también evolucionó con rapidez, pero vi una oportunidad para recrear la profundidad y la apariencia del fondo características de los lentes de cámaras profesionales. Propusimos la idea durante la etapa de investigación, justo cuando el negocio MX exploraba formas de ayudar a los usuarios a crear videos con apariencia profesional de manera más sencilla. Esta coincidencia abrió el camino para desarrollar la tecnología en conjunto.

P. ¿Cómo colaboraron los equipos para convertir Portrait Video en una función de cámara?

Kim: Las soluciones existentes, por sí solas, no eran suficientes para reproducir de forma natural las características de los lentes que buscábamos. En ese momento, la tecnología de Samsung Research todavía se encontraba en etapa de investigación, por lo que aplicarla a un producto no era una decisión sencilla. Aun así, el negocio MX reconoció su potencial y decidió llevarla al mercado.

A partir de ahí, comenzaron las pruebas y el perfeccionamiento a gran escala. Evaluamos la tecnología en dispositivos reales e intercambiamos comentarios hasta convertirla en una función de cámara para los usuarios.

Park: Para preparar la función para situaciones reales, tuvimos que grabar innumerables videos en una amplia variedad de condiciones y validar los resultados. Como la función está centrada en las personas, expertos de ambos equipos incluso participaron como modelos y se grabaron entre sí. Nos enfocamos especialmente en qué tan natural era la separación entre los sujetos y el fondo, así como en la apariencia del desenfoque y el Bokeh a diferentes distancias.

Mientras nos grabábamos, revisábamos juntos los resultados y continuábamos intercambiando ideas. Lo que más recuerdo es cómo los resultados mejoraban notablemente con cada prueba.

Recreación del efecto de un lente de gran apertura en smartphones

P. ¿Cuál es la tecnología clave que lleva Portrait Video al siguiente nivel?

Kim: La clave es una tecnología que recrea en los videos grabados con un smartphone el aspecto distintivo de los lentes profesionales de gran apertura. Para hacerlo posible, utilizamos IA y análisis óptico.

Simplemente desenfocar una imagen no es suficiente para reproducir la profundidad y la apariencia natural del fondo que ofrece una cámara profesional. El desenfoque convencional suaviza la imagen al combinar los colores circundantes, mientras que un lente de gran apertura funciona de manera diferente. El nivel de desenfoque cambia de forma natural según la distancia entre el sujeto y el fondo, mientras que los puntos brillantes de luz se dispersan para formar el Bokeh, conservando su forma y luminosidad. Las formas y texturas de estas áreas fuera de foco se conocen como Bokeh.

Para recrear este efecto, es necesario considerar tanto la distancia entre el sujeto y el fondo como la forma en que la luz se dispersa a través de un lente de cámara real.

Para recrear este efecto en un smartphone fueron necesarios dos elementos. Primero, analizamos cómo se dispersa la luz a través de un lente real de gran apertura y las características del Bokeh que produce, para después convertir los resultados en datos. Luego, combinamos esta información con datos sobre la distancia de la escena estimados mediante IA, lo que permite al sistema ajustar el nivel de desenfoque y el tamaño del Bokeh según la distancia entre el sujeto y el fondo.

P. ¿Qué desafíos técnicos enfrentaron los equipos al crear desenfoque y Bokeh en smartphones?

Kim: El mayor desafío fue representar de manera natural los límites complejos entre el sujeto y el fondo, como el cabello o las monturas de los lentes. En los smartphones, la información de distancia estimada mediante IA no es suficiente por sí sola para distinguir con precisión los detalles más finos. Incluso un pequeño error puede desenfocar algunos cabellos o dejar partes del fondo nítidas, haciendo que el sujeto parezca recortado de forma poco natural.

Para solucionarlo, combinamos la información de distancia estimada por IA con la información de los límites presente en las imágenes originales, lo que permite separar de forma más natural al sujeto del fondo, incluso alrededor de detalles finos como el cabello.

Park: Mantener resultados consistentes en diferentes condiciones de grabación, como el clima, la iluminación, el movimiento del sujeto y la distancia, fue fundamental. Grabamos repetidamente en una amplia variedad de situaciones y revisamos los resultados para corregir elementos poco naturales mediante la optimización del software y datos adicionales para el entrenamiento de IA. A partir de la tecnología desarrollada por Samsung Research, los expertos en calidad de imagen del negocio MX también evaluaron los resultados desde la perspectiva del usuario para perfeccionar aún más la función.

P. ¿Qué fue necesario para lograr que este complejo procesamiento de video fuera confiable y estuviera listo para utilizarse en la serie Galaxy Z?

Kim: El mayor reto fue reducir el consumo de energía y la generación de calor sin comprometer la calidad. El video es una rápida sucesión de imágenes, por lo que procesar contenido 4K en tiempo real requiere una capacidad de procesamiento considerable.

Esto significaba que teníamos que establecer prioridades. Mantuvimos los procesos esenciales para preservar la calidad de imagen y redujimos el procesamiento en aquellas áreas donde los usuarios probablemente no notarían una diferencia. Como resultado, logramos un equilibrio entre la recreación natural de las características de los lentes y el procesamiento en tiempo real, lo que permite mantener un desempeño estable y eficiente incluso durante grabaciones prolongadas.

Más libertad para crear videos

P. ¿Cuáles son algunos consejos para aprovechar al máximo Portrait Video?

Kim: Para resaltar el Bokeh, busca escenas con fuentes de luz brillantes frente a un fondo relativamente oscuro. La luz del sol entre las hojas, las luces navideñas o el alumbrado público durante la noche pueden transformarse en círculos de Bokeh suaves y crear una atmósfera más envolvente.

Al grabar a una persona, lo mejor es evitar una luz intensa directamente de frente. En su lugar, coloca la fuente de luz detrás o a un lado del sujeto. Esto puede iluminar suavemente el cabello y los contornos, además de hacer más visible el Bokeh del fondo. La luz reflejada o fuentes de iluminación ambiental, como el alumbrado público, también pueden ayudar a evitar que el rostro quede demasiado oscuro y lograr un resultado más equilibrado.

P. ¿Qué reacción te gustaría escuchar de las personas que han probado Portrait Video?

Park: Me gustaría que los usuarios, creadores y profesionales del video se sorprendieran de lo fácil que puede ser crear videos cinematográficos con un smartphone. Espero que el desenfoque natural, el Bokeh y las funciones de edición posteriores a la captura les den mayor libertad para conseguir el aspecto y la sensación que buscan.

Kim: En última instancia, espero que las personas sientan que ya no necesitan llevar consigo una cámara profesional adicional. Continuaremos desarrollando las tecnologías que hacen posible esta experiencia para que puedan crear videos cinematográficos utilizando únicamente un smartphone.

Llevar al video de los smartphones la profundidad de campo reducida y la reproducción cinematográfica de la luz característica de los lentes de cámaras profesionales requirió numerosas pruebas y la colaboración entre equipos para transformar un concepto de investigación en una función confiable.

Desarrollado a partir de la experiencia conjunta de Samsung Research y el negocio MX, Portrait Video amplía las posibilidades de video en Galaxy y ofrece a los usuarios más herramientas para llevar sus ideas creativas a la pantalla.

1. La forma y textura del desenfoque en áreas fuera de foco, que suele observarse cuando pequeños puntos de luz aparecen como reflejos circulares. ︎
2. Un lente cuya apertura puede abrirse ampliamente para permitir la entrada de más luz, lo que resulta especialmente adecuado para mantener el sujeto nítido mientras desenfoca suavemente el fondo y reproduce los reflejos de bokeh. ︎