El proceso de creación de funciones lingüísticas para Galaxy AI requirió mucho tiempo y esfuerzo, ya que cada idioma presenta una estructura y cultura única. En este contexto, investigadores de Samsung de todo el mundo (Brasil, China, India, Indonesia, Japón, Jordania, Polonia y Vietnam) compartieron los retos y los logros del desarrollo de Galaxy AI. A continuación, Samsung Newsroom muestra un resumen de estas historias.  

Desarrollo de un modelo de traducción 

Las funciones de Galaxy AI, como Live Translate, realizan tres procesos básicos: reconocimiento automático de voz (ASR), traducción automática neuronal (NMT) y conversión de texto a voz (TTS). 

▲ El reconocimiento automático del habla (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS) requieren distintos conjuntos de información para su entrenamiento.

El Instituto de Investigación y Desarrollo de Samsung de Vietnam (SRV) se enfrentó a obstáculos con los modelos de reconocimiento automático del habla (ASR) porque el vietnamita es un idioma con seis tonos distintos. Los idiomas con tonos pueden ser difíciles de reconocer para la AI debido a la complejidad que los tonos añaden a los matices lingüísticos. SRV respondió al reto con un modelo que diferencia entre fotogramas de audio más cortos, de unos 20 milisegundos. 

El Instituto de Investigación y Desarrollo de Samsung de Polonia (SRPOL) se enfrentó al gigantesco reto de entrenar modelos de traducción automática neural (NMT) para un continente tan variado como Europa. Aprovechando su amplia experiencia en proyectos que abarcan más de 30 idiomas en cuatro zonas horarias, SRPOL fue capaz de sortear la dificultad de traducir ciertas frases y manejar expresiones idiomáticas que pueden no tener equivalentes directos en otros idiomas. 

El Instituto de Investigación y Desarrollo de Samsung de Jordania (SRJO) adaptó el árabe (que se habla en más de 20 países en unos 30 dialectos) para Galaxy AI. Crear un modelo de texto a voz (TTS) no fue tarea fácil, ya que los diacríticos y las guías de pronunciación son ampliamente comprendidos por los hablantes nativos de árabe, pero están ausentes en la escritura. Basándose en un sofisticado modelo de predicción de los diacríticos ausentes, SRJO pudo crear un modelo lingüístico que entiende los dialectos y puede responder en árabe estándar. 

La importancia de la data 

A lo largo del proceso de adaptación de Galaxy AI en cada idioma, un tema general fue la importancia de una colaboración abierta con instituciones locales. La calidad de los datos utilizados impacta directamente a la precisión del ASR, NMT y TTS. Por eso, Samsung trabajó con varios socios para obtener y revisar datos que reflejaran la jerga, los dialectos y otras variantes de cada región. 

▲ Cada idioma tiene sus propias cualidades, que dificultan la creación de un modelo lingüístico de inteligencia artificial. En el caso de lenguas tonales como el vietnamita, los tonos aumentan la complejidad.

El Instituto de Investigación y Desarrollo de Samsung en India-Bangalore (SRI-B) colaboró con el Instituto de Tecnología de Vellore para obtener casi un millón de líneas de datos de audio segmentados y procesados sobre conversaciones, palabras y comandos. Los estudiantes obtuvieron experiencia práctica en un proyecto de la vida real, así como la guía de expertos de Samsung; el basto número de datos ayudó a SRI-B a entrenar Galaxy AI en hindi, cubriendo más de 20 dialectos regionales y sus respectivas inflexiones de tono, puntuación y expresiones coloquiales. 

Para el modelo del español latinoamericano era imprescindible contar con conocimientos lingüísticos locales, ya que la variedad del idioma se refleja en la diversidad de su base de usuarios. Por ejemplo, la palabra piscina puede ser alberca (México), piscina (Colombia, Bolivia, Venezuela) o pileta (Argentina, Paraguay, Uruguay) según la región de la que una persona sea originaria. El Instituto Samsung de Investigación y Desarrollo de Brasil (SRBR) trabajó con los institutos de ciencia y tecnología SiDi y Sidia para recopilar y gestionar cantidades masivas de datos, así como para perfeccionar y mejorar las fuentes de audio y texto para el modelo de español latinoamericano de Galaxy AI. 

El Instituto Samsung de Investigación y Desarrollo de China-Pekín (SRC-B) y el Instituto de Investigación y Desarrollo Samsung China-Guangzhou (SRC-G) se asociaron con las empresas chinas Baidu y Meitu para aprovechar su experiencia en el desarrollo de grandes modelos lingüísticos (LLM) como ERNIE Bot y MiracleVision, respectivamente. Como resultado, Galaxy AI admite los dos modos principales de chino mandarín y cantonés. 

Además de la cooperación externa, también fueron fundamentales la diligencia debida y los recursos internos. 

El bahasa indonesio es un idioma famoso por su amplio uso de significados contextuales e implícitos que se basan en claves sociales y situacionales. Los investigadores del Instituto Samsung de Investigación y Desarrollo de Indonesia (SRIN) salieron a grabar conversaciones en cafeterías y entornos de trabajo para captar ruidos ambientales auténticos que pudieran distorsionar la entrada de datos. Esto ayudó al modelo a aprender a reconocer la información necesaria a partir de la entrada verbal, mejorando en última instancia la precisión del reconocimiento del habla. 

En el japonés hay muchos homónimos, ya que el número de sonidos es limitado. Por lo tanto, muchas palabras se deben determinar en función del contexto. El Instituto Samsung de Investigación y Desarrollo de Japón (SRJ) utilizó Samsung Gauss, el LLM interno de la empresa, que estructura oraciones contextuales con palabras o frases relevantes para cada escenario para ayudar al modelo de IA a diferenciar entre homónimos. 

Red mundial de investigación de Samsung 

Los profesionales de varios institutos de Investigación y Desarrollo de Samsung aprovecharon al máximo la red mundial de investigación de Samsung. 

Antes de abordar el hindi, SRI-B colaboró con equipos de todo el mundo para desarrollar modelos lingüísticos de AI para el inglés británico, indio y australiano, así como para el tailandés, el vietnamita y el indonesio. Ingenieros de otros centros de investigación de Samsung visitaron Bangalore (India) para llevar el vietnamita, el tailandés y el indonesio a Galaxy AI. 

▲ Personal y colaboradores posan delante del Samsung I+D Institute India-Bangalore (SRI-B)

SRPOL tenía una amplia experiencia en el desarrollo de modelos ASR, NMT y TTS para una gran variedad de idiomas. SRPOL, protagonista clave en la expansión lingüística de Galaxy AI, colaboró en todos los continentes para apoyar SRJO con dialectos árabes y SRBR con portugués brasileño y español latinoamericano. 

Los desarrolladores de Samsung en cada uno de estos lugares aprendieron a colaborar a través de fronteras y husos horarios. Los desarrolladores de SRIN incluso observaron las costumbres locales de ayuno en India cuando se reunieron con sus colegas de SRI-B. Muchos reflexionaron sobre su trabajo con orgullo y gratitud, dándose cuenta del impacto duradero que este proyecto tiene en el idioma, la cultura, el patrimonio y la identidad. 

Esfuerzos continuos a medida que avanza el proceso 

Recientemente Samsung presentó Galaxy AI en sus últimos dispositivos plegables y portátiles. Desde su lanzamiento a principios de este año, Galaxy AI ya se ha utilizado en más de 100 millones de dispositivos. “Esperamos alcanzar los 200 millones de dispositivos a finales de 2024”, declaró Won-joon Choi, Vicepresidente Ejecutivo y Director de la Oficina de Investigación y Desarrollo de Móviles, Mobile eXperience Business de Samsung Electronics, en un reciente panel. 

En medio de esta misión de ampliar el acceso a la AI, es importante mirar atrás y celebrar los logros y avances que han llevado a proporcionar esta tecnología segura e inclusiva que beneficiará a la humanidad y mejorará vidas. Al construir el ecosistema Galaxy AI con aún más funciones, idiomas y variantes regionales, Samsung está facilitando los intercambios interculturales de una forma que no tiene precedentes para hacer realidad su visión de AI para Todos. 

El Instituto de Investigación y Desarrollo de Japón (SRJ) se creó para ser un centro de Investigación y Desarrollo (I+D) centrado en hardware, como electrodomésticos y pantallas. Con la demanda de innovación en IA aumentando en todo el mundo, SRJ de Yokohama también ha estado operando un laboratorio de desarrollo de software para crear la función de Live Translate de Galaxy AI que, desde finales del año pasado, traduce automáticamente las llamadas de voz en tiempo real. 

“La función Live Translate es especialmente útil en los viajes, como en el caso de quienes acudan a los Juegos Olímpicos de este año en París“, afirma Takayuki Akasako, director de Inteligencia Artificial de SRJ. “Actualmente estamos desarrollando un programa de reconocimiento de voz para turistas y van a ver los Juegos Olímpicos de París y entrenando el programa de reconocimiento de voz para aprender sobre los Juegos y las ubicaciones de los estadios para París 2024“.  

Comprensión del contexto en el reconocimiento de voz  

Para aquellos que ya utilizan las funciones de traducción de Galaxy AI, estas opciones pueden parecer muy útiles. Pero los desarrolladores que las han creado saben que poder comunicarse en el extranjero no es algo que se pueda dar por sentado. 

Una cosa que el equipo notó fue que hay más homónimos en japonés que en otros idiomas. Por ejemplo, ‘palillos’ (Hashi,箸) y ‘puente’ (Hashi,橋) son relativamente fáciles de distinguir debido a la diferencia de entonación, pero palabras como ‘turismo’ (Kankō,観光), ‘costumbres’ (Kankō,慣行), ‘público’ (Kōkyō,公共) y ‘prosperidad’ (Kōkyō,好況) deben interpretarse según el contexto. 

“La interpretación se vuelve más difícil cuando el contexto es ambiguo, como en los casos de nombres de sitios y personas, nombres propios, dialectos y números“, dice Akasako. “Por lo tanto, para mejorar la precisión del reconocimiento de voz, se necesitan muchos datos“. 

“Siempre buscamos formas de ajustar el modelo de IA para eventos y momentos clave, a tiempo“, añade Akasako. “Con muchas combinaciones nuevas de nombres de lugares y actividades, es importante que el contexto quede claro cuando las personas usan Galaxy AI“. 

Desafíos en la recopilación de datos eficientes 

Si bien también es importante reconocer los tipos de datos necesarios, recopilar la información es un desafío aparte. 

Anteriormente, el equipo de SRJ utilizaba datos grabados por personas para entrenar el motor de reconocimiento de voz para la función Live Translate, lo que no resultaba en una recopilación de datos suficiente. 

Samsung Gauss, el modelo de lenguaje grande (LLM, por sus siglas en inglés) de la compañía, utiliza guiones para estructurar oraciones con palabras o expresiones que son relevantes para cada escenario. Los datos recopilados con Samsung Gauss no solo los graban las personas, también los generan datos de síntesis de voz text-to-speech (TTS), por medio de los cuales las personas realizan la verificación de calidad final. Con este método, el equipo ha observado una mejora significativa en la eficiencia de la recopilación de datos. 

“Cada vez que se identifica y resuelve un problema, la precisión del reconocimiento de voz mejora significativamente“, explica Akasako. “Independientemente de dónde se encuentren las personas, nuestro objetivo es conectarlas entre sí, y las herramientas impulsadas por Galaxy AI garantizarán una comunicación más divertida y eficiente“. 

Hay un dicho en el Instituto de Investigación y Desarrollo de Samsung de Polonia (SRPOL, por sus siglas en inglés): “Un día en SRPOL dura 96 ​​horas”, lo que refiere a su papel global como uno de los centros de Investigación y Desarrollo (I+D) más grandes y de más rápido crecimiento en la región, que a menudo trabaja en cuatro zonas horarias diferentes. Ubicado en el corazón de Europa y cubriendo muchos mercados europeos y globales, SRPOL ha trabajado en avances como el reconocimiento automático de voz, la traducción automática neuronal y modelos de texto a voz para más de 30 idiomas. Cuando se buscó incorporar 10 idiomas a Galaxy AI, esta experiencia significó que el equipo estaba bien preparado para combinar continuamente las perspectivas culturales con la tecnología global de Samsung. 

SRPOL tiene años de experiencia en procesamiento del lenguaje natural, pero lo que lo hace único es su adaptabilidad para trabajar en cualquier idioma gracias al apasionado equipo y a sus herramientas, como una plataforma de crowdsourcing que permite un desarrollo rápido y ágil. 

“La colaboración en todo el continente significa la recopilación, anotación e investigación de datos incesantes, lo que se ha convertido en algo que realmente disfrutamos“, afirma Kornel Jankowski, Head de Decodificación de Voz de SRPOL. “Hemos trabajado con tantos idiomas que nuestro equipo desarrolló habilidades universales e independientes del idioma. Cuando nos piden que apoyemos un nuevo modelo de lenguaje, la actitud de todos es: ‘¡Oh, vaya, aprenderemos otro, será divertido!’”. 

Un centro europeo para el desarrollo del lenguaje de IA 

El idioma es una piedra angular de la cultura y la comunicación en toda Europa, independientemente de si está incorporado a la tecnología. Sin embargo, presenta desafíos únicos para el equipo de SRPOL, que desarrolla modelos de inteligencia artificial para idiomas europeos. 

“Cada idioma y la cultura de la que forma parte conlleva obstáculos que nos hacen reevaluar cómo percibimos un tema específico”, explica Adam Ros, Head de Inteligencia Artificial de SRPOL. Estos obstáculos incluyen sortear la intraducibilidad de ciertas frases y manejar expresiones idiomáticas que pueden no tener equivalentes directos en otros idiomas. 

El equipo vio estos desafíos como una oportunidad para hacer de SRPOL un centro europeo para el desarrollo del lenguaje de Inteligencia Artificial (IA). El mayor beneficio de esto es que acorta el camino de comunicación entre diferentes departamentos y, fundamentalmente, la toma de decisiones. Ya sea que se trate de reconocimiento automático de voz, traducción automática neuronal o texto a voz, los equipos podrían simplemente acercarse a sus colegas en Garantía de Calidad Móvil y resolver juntos los problemas de manera eficiente. 

Si bien esto ha ayudado, no ha superado todos los desafíos de la IA. Inevitablemente, existen limitaciones en estos modelos cuando se trata de múltiples idiomas europeos, como la traducción sin contexto o variaciones en la entonación. Sin embargo, el equipo vio esto como una oportunidad para seguir aprendiendo e innovando. 

“Mi equipo nunca se detiene en un solo ejemplo cuando maneja una palabra o tema nuevo. Algunas lenguas europeas son más difíciles que otras”, añade Ros. “Si alguna vez has estado en España, sabrás que el español se habla a menudo a velocidades vertiginosas y necesitamos entrenar bien a la IA para manejar eso”. 

La expansión de Galaxy AI requirió una novedosa colaboración entre continentes, pero el trabajo pronto creció más allá de las fronteras europeas. SRPOL apoyó los esfuerzos del equipo de Jordania para enseñar la gran variedad de dialectos árabes de Galaxy AI, y también ayudó al equipo de Brasil en idiomas latinoamericanos. 

La importancia de las sutilezas del idioma y las diferencias culturales están en el radar de los desarrolladores de productos SRPOL, porque todas ellas pueden notarse por un objetivo común: los usuarios finales. 

“Existen diferencias sutiles entre las culturas europeas que influyen en si algo se siente natural para el usuario final. Por ejemplo, en algunos países la gente espera leer los precios con el símbolo del euro (€), mientras que otros están acostumbrados a verlo escrito, e-u-r-o-s”, dice Agata Maria Rozycka, Head de Investigación de Inteligencia de Voz en SRPOL. “Si este matiz cultural no se refleja en el texto traducido, la interfaz puede parecer menos intuitiva para el usuario. La implementación de estos conocimientos a nivel micro en el diseño de interfaces puede hacer que la tecnología se sienta más natural en diversas culturas”. 

“El equipo se ha estado comunicando y colaborando de forma remota en diferentes países durante muchos años, creando numerosos canales de comunicación eficaces“, afirma Marcin Mrugala, Head de Garantía de Calidad Móvil de SRPOL. “Estábamos listos para hacer nuestra parte para permitir que Galaxy AI reduzca las barreras del idioma en todo el mundo“. 

Tecnología para unir culturas 

Gestionar e integrar diversos conocimientos lingüísticos y culturales es una tarea desafiante, pero es esencial para la visión de Samsung para Galaxy AI, que consiste en reducir las barreras que dividen a las personas según el idioma y la cultura, y permitirles crear conexiones más profundas. 

“No sólo estamos construyendo la tecnología del futuro, también los equipos del futuro. Nuestras prácticas mejoradas están diseñadas para perfeccionar los productos en función de las diferencias entre países, pero fundamentalmente creemos que nuestras similitudes superan con creces nuestras diferencias y que nuestra tecnología puede unir culturas”, afirma Mrugala. 

“Nuestro objetivo es unir a las personas, hacerles la vida más fácil y simplificar sus tareas diarias. Estamos viendo a nuestras familias usar la Grabadora de Voz de nuevas maneras y ahora podemos llamar a nuestros amigos en diferentes países y hablar con ellos en su idioma. Es mágico ver este cambio en el mundo y ser parte de él. Galaxy AI unió a la gente de SRPOL y ahora estamos uniendo al mundo”, concluye Rozycka. 

Dentro del Instituto de Tecnología Vellore en Chennai, India, hay un laboratorio repleto de equipos de audio futurista. En él, se pueden encontrar maniquíes, conocidos en la industria como simuladores de cabeza y torso, así como micrófonos binaurales y audífonos. Estos equipos se almacenan en cámaras especiales, tratadas con un avanzado sistema de absorción acústica, lo que convierte a este laboratorio en el primero en su tipo en la India. Ahora Imaginen que una instalación así se utiliza para desarrollar los últimos equipos de alta fidelidad (Hi-Fi) de próxima generación.  

Aquí es donde el Instituto de Tecnología Vellore colabora con Samsung para producir y desarrollar datos e ideas que impulsan los últimos modelos de Inteligencia Artificial (IA) para las capacidades lingüísticas de Galaxy AI. El centro se desarrolló como parte de los Samsung SEED (Students Ecosystem for Engineered Data) Labs, una iniciativa que desde 2021 permite al personal universitario, estudiantes y becarios en India trabajar en proyectos de Samsung. Este es solo uno de varios programas universitarios financiados por la marca, en el que los alumnos tienen la oportunidad de trabajar en proyectos con expertos técnicos de la empresa.  

“Como estudiante, me encanta poder trabajar en varios proyectos con una empresa conocida y respetada como Samsung“, asegura Yashika Ilanchezhiyan, estudiante de Samsung SEED. “Me dieron la confianza para aprender nuevas habilidades de manera práctica y siento que estoy marcando una diferencia real en los productos actuales y futuros“. 

“En este tipo de colaboración todos salen ganando“, afirma Giridhar Jakki, director de IA para idiomas en el Instituto de Investigación y Desarrollo de India – Bangalore (SRI-B). “Gracias a nuestros proyectos con universidades, podemos acceder a conocimientos adicionales y a conjuntos de datos personalizados. A cambio, las universidades asociadas reciben inversión, incentivos financieros y asesoramiento especializado de Samsung“. 

Reducir las barreras del idioma 

SRI-B ha colaborado con equipos de todo el mundo para desarrollar modelos de inteligencia artificial para el inglés británico, indio y australiano, así como para los idiomas tailandés, vietnamita e indonesio. Recientemente, los principales ingenieros de otros centros de investigación de Samsung visitaron Bangalore (India), donde el equipo de SRI-B ayudó a desarrollar la tecnología para incorporar el vietnamita, el tailandés y el indonesio a Galaxy AI. De este modo, SRI-B se situó en una posición ideal para desarrollar el idioma hindi para Galaxy AI. 

Según Jakki, “Cada idioma tiene sus desafíos. Pero cuando pensamos en el objetivo final de brindarle a las personas la capacidad de comunicarse en otros idiomas, todo el esfuerzo vale la pena. No veíamos la hora de incorporar el hindi a Galaxy AI“. 

Desarrollar el modelo de IA en hindi no fue fácil. El equipo tuvo que garantizar la inclusión de más de 20 dialectos regionales, inflexiones vocales, puntuación y coloquialismos. Además, los hablantes de hindi suelen mezclar palabras en inglés en sus conversaciones, lo que requirió que el equipo realizara varias sesiones de entrenamiento con modelos de IA, con una combinación de datos traducidos y transliterados.  

“El hindi tiene una estructura fonética compleja que incluye sonidos retroflejos, los cuales se producen al curvar la lengua hacia atrás y que no existen en muchos otros idiomas“, afirma Jakki. “Para desarrollar el elemento de síntesis de voz en la solución de IA, analizamos cuidadosamente los datos con lingüistas nativos para comprender todos los sonidos únicos y creamos un conjunto especial de fonemas para abarcar dialectos específicos del idioma“. 

Los esfuerzos de colaboración entre Samsung y sus socios académicos fueron fundamentales para desarrollar el modelo de lenguaje de inteligencia artificial que reflejara los matices culturales de las regiones de la India. El Instituto de Tecnología Vellore contribuyó significativamente, al obtener casi un millón de líneas de datos de audio segmentados y organizados de voz, palabras y comandos conversacionales. Estos datos fueron un componente clave para una tarea tan crítica como la incorporación del cuarto idioma más hablado del mundo a Galaxy AI. Trabajar con universidades garantizó que Samsung utilizara información de la más alta calidad.  

Conexiones globales que generan grandes impactos 

 Este proyecto resume a la perfección la filosofía de colaboración abierta de Samsung y la convicción de la compañía de que compartir conocimientos y perspectivas garantiza una innovación significativa. En el caso de SRI-B, no solo implica trabajar con el mundo académico, también compartir ideas y prácticas recomendadas con otros centros de investigación de Samsung en todo el mundo. 

“Estoy muy orgulloso de lo que hemos logrado con la ayuda de nuestros socios“, afirma Jakki. “La innovación en IA mediante la colaboración es una gran parte de lo que hacemos. Continuaremos mejorando la comprensión, recopilación y análisis de datos lingüísticos para que más personas puedan acceder a las herramientas de IA en el futuro“. 

Brasil, un país diverso con más de 203 millones de habitantes, es una nación que encarna una amplia gama de culturas y tradiciones, y habla el portugués brasileño como idioma oficial; mientras que los 22 países vecinos hablan español. 

Aunque el portugués brasileño y el español latinoamericano se hablan ampliamente, las intrincadas variaciones de ambos idiomas presentaron varios desafíos al enseñar a la Galaxy AI a discernir y distinguir las diferencias regionales. Es por eso por lo que el Instituto de Investigación y Desarrollo de Samsung Brasil (SRBR) colaboró con expertos de Samsung de México, así como con aliados externos, como los institutos de ciencia y tecnología SiDi y Sidia, para formar un equipo multidisciplinario y altamente capacitado que pudiera enfrentar esta tarea. 

Menos barreras, más comprensión 

El equipo utilizó miles de fuentes y una combinación de aprendizaje automático y lenguaje para mejorar el reconocimiento del habla, los textos escritos y las variaciones regionales del modelo de IA. Pero la jerga local y los nombres de figuras famosas (incluidos equipos deportivos, celebridades y bandas) varían mucho entre regiones. Además, el mismo significado puede expresarse con palabras diferentes. Si bien los modelos lingüísticos necesitan datos localizados para obtener una comprensión integral de los diferentes idiomas para traducir, tales variaciones inevitablemente presentan obstáculos.  

Por ejemplo, decimos “alberca” en México, pero es “pileta” en Argentina, Paraguay y Uruguay; en Colombia, Bolivia y Venezuela la alberca es “piscina”, al igual que en Brasil, pero con una ligera diferencia tonal. Y mientras que los colombianos dicen “chévere” para referirse a algo interesante, los mexicanos decimos “padre”. 

Estas diferencias representan enormes desafíos para la comprensión y el aprendizaje del lenguaje de la IA, pero el equipo los superó construyendo modelos de lenguaje más amplios, perfeccionando las herramientas de procesamiento y colaborando a través de fronteras y zonas horarias. 

“Tuvimos que considerar la jerga local y diferentes formas de hablar antes de adaptar y probar el modelo respectivo, lo que requirió una estrecha colaboración entre el equipo de control de calidad (QA) de SRBR y los equipos de desarrollo“, dice Mateus Pedroso, gerente senior y jefe del Laboratorio de Calidad de Software. en SRBR. “Dado que SRBR está tres horas adelantado del equipo de control de calidad en México y 12 horas atrasado del equipo de gestión en Corea, tuvimos que crear nuevos canales y procesos de comunicación para alinear resultados y compartir progresos. Esta colaboración multicultural generó una lluvia de ideas y soluciones para Galaxy AI”. 

Comunicar el éxito  

La filosofía de colaboración abierta de Samsung cobró vida durante este proyecto regional, ya que fue un proceso iterativo que aprovechó la evolución de la tecnología a escala global. Para superar las barreras lingüísticas y culturales, el equipo de SRBR necesitaba recopilar, gestionar y desarrollar cantidades masivas de datos, refinando y mejorando continuamente las fuentes de audio y texto. 

Los equipos crearon áreas clave de responsabilidad para garantizar que todos pudieran beneficiarse de las habilidades colectivas en las oficinas latinoamericanas de la empresa. El equipo de desarrollo de SRBR actuó como parte intermediaria del proyecto, recibió instrucciones de la sede de Samsung y desarrolló nuevas actualizaciones para mejorar el modelo de IA mientras realizaba pruebas para varios escenarios. 

“La fase de prueba requirió una amplia comunicación y colaboración con los equipos de control de calidad para optimizar la experiencia del usuario, y cada ajuste requirió pruebas y revisiones adicionales“, dice Leandro Flores de Moura, Gerente de Desarrollo de Software de SiDi. “El éxito de las capacidades lingüísticas de Galaxy AI se basa tanto en la comunicación y la colaboración como en la experiencia técnica“, añade Nathan Castro, desarrollador de pruebas de control de calidad en SiDi. 

Un camino para la cultura 

Lo que hace que Galaxy AI sea particularmente interesante para todos los involucrados es que no se trata simplemente de un proyecto de lenguaje. Para ellos, el idioma es una guía cultural que proporciona información valiosa sobre la herencia y la identidad de las personas. 

“Para el equipo de control de calidad de SiDi, este fue un esfuerzo que cambiará el mundo al permitir que las culturas se unan y superen la dificultad de comunicarse en diferentes idiomas“, agrega Estefanía Castro Suárez, desarrolladora de pruebas de SiDi. “Saber que fuimos parte de esto nos llena de orgullo y motivación”. 

“La forma en que colaboró el equipo de SRBR ejemplifica lo que Galaxy AI se propone lograr: hacer del mundo un lugar más cercano mediante la comunicación, el intercambio y la interacción con personas, incluso con aquellas que hablan diferentes idiomas”, concluye Pedroso. “Esta capacidad solo crecerá a medida que se incorporen más idiomas a Galaxy AI“. 

Mientras Samsung continúa siendo pionero en experiencias premium de IA móvil, visitamos los centros de investigación de Samsung de todo el mundo para conocer cómo Galaxy AI permite que más usuarios maximicen su potencial. Galaxy AI ahora admite 16 idiomas, por lo que más personas pueden ampliar sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo en funciones como o Live Translate, Interpreter, Note Assist y Browsing Assist. Pero ¿qué implica el desarrollo del lenguaje de IA? La última vez visitamos Vietnam para aprender cómo preparar los datos que se utilizan para entrenar modelos de IA. Esta vez, presentaremos cómo los equipos hicieron de Galaxy AI una oferta única tanto para China continental como para Hong Kong.

Se ha observado en todo el mundo el rápido crecimiento de las herramientas de Inteligencia Artificial (IA) que utilizan grandes modelos de lenguaje (LLM), y China no es una excepción. Con ERNIE Bot de Baidu y MiracleVision de Meitu emergiendo como opciones populares en China, Samsung R&D Institute China se asoció con ambas compañías para ayudar a desarrollar funciones de Galaxy AI para su país.

El Samsung R&D Institute China en Guangzhou (SRC-G) y Beijing (SRC-B) trabajaron para garantizar que los hablantes de mandarín en China tuvieran la misma experiencia de Galaxy AI que otros usuarios en todo el mundo, a pesar de que la tecnología de back-end se ve diferente. El equipo aprovechó los recursos dedicados a dialectos chinos de socios externos y creó una solución Galaxy AI única para China.

“Tenemos la ventaja de combinar las mejores acciones internacionales con las acciones locales de China, además de crear nuevas características y mejorarlas constantemente a través de la comunicación diaria con los consumidores chinos“, dice Hairong Zhang, líder del grupo de innovación de software en SRC-G. “Con la amplia experiencia en desarrollo de Galaxy S24, estoy orgulloso de cómo nuestro equipo cooperó con empresas locales chinas de inteligencia artificial, como Baidu y Meitu, para brindar una solución que impacte en China“.

Al principio, los equipos tuvieron que aclimatarse a los estilos de trabajo de cada uno y solucionar los problemas iniciales de asimetría de información. Daijun Zhang, director de SRC-B, estableció un grupo de trabajo para garantizar que el proyecto siguiera el cronograma de desarrollo y avanzara rápidamente hacia sus objetivos.

Gracias a la experiencia del equipo de Beijing en la generación de modelos a gran escala y la colaboración exitosa con socios externos, todas las funciones de IA generativa se lanzaron con éxito en China. El resultado es una solución que tiene relevancia local y características específicas para el mercado, como Touch to Search (Tocar para buscar).

Ampliar el chino para desarrollar el dialecto cantonés

El chino para China continental (mandarín) llegó a Galaxy AI con el lanzamiento de Galaxy S24 en enero de 2024. Pero el trabajo del Samsung R&D Institute China estaba lejos de terminar. Al equipo también se le asignó la tarea de desarrollar el modelo de IA para el chino en Hong Kong (cantonés), un dialecto que se sustentó en el trabajo ya realizado para el mandarín, pero que brinda un conjunto completamente nuevo de características lingüísticas para abordar.

Al desarrollar el cantonés, el equipo de Investigación y Desarrollo (I+D) de China enfrentó importantes desafíos culturales a los que necesitaba responder para respaldar plenamente su ubicación en el mercado. El primer fenómeno cultural son los dos conjuntos de sistemas de escritura y habla. Los habitantes de Hong Kong utilizan gramática y expresiones similares al mandarín cuando escriben, pero adoptan una gramática coloquial completamente diferente cuando se comunican a diario. Además, el cantonés tiene nueve tonos de pronunciación, mientras que el mandarín tiene cuatro.

Otro fenómeno cultural es que el propio dialecto cantonés se desarrolla con los tiempos. Agregando a eso el hecho de que las personas a menudo combinan cantonés e inglés en las conversaciones, lo que demuestra por qué fue complicado crear casos de prueba y validar paquetes de idiomas.

“El cantonés es un dialecto muy singular que varía en las distintas regiones donde se habla“, afirma Jing Li, que dirige la operación para probar la solución de IA en cantonés. “Algunas de las jergas, frases, palabras e incluso los tonos varían de un lugar a otro. Por lo tanto, llevamos a cabo una gran cantidad de trabajo para verificar los datos específicos de Hong Kong, también para corregir decenas de miles de casos de prueba relevantes”.

Con estas complejidades en mente, SRC-G y SRC-B trabajaron juntos para admitir una combinación de código profunda utilizando una mezcla de cantonés e inglés para el reconocimiento de voz, admitiendo simultáneamente expresiones habladas y escritas en traducción automática y reflejando pronunciaciones contemporáneas en síntesis de voz.

Impacto cultural de la comunicación

Cuando Galaxy AI lanzó la opción de idioma chino (Hong Kong), los comentarios de los usuarios mostraron que el arduo trabajo del equipo de I+D de Samsung estaba justificado.

Tanto para China continental como para Hong Kong, las actividades de Galaxy AI de Samsung muestran la importancia de que una marca global tenga presencia y experiencias locales, así como el poder de la colaboración abierta con otras organizaciones. En Hong Kong, el cantonés es una parte clave de la identidad cultural de quienes viven allí. Por eso era tan importante para el equipo acertar con el modelo de lenguaje de IA.

“El lenguaje y la comunicación son cruciales en todas las regiones y en todos los ámbitos de la vida“, afirma Henry Wat, jefe del grupo de ingeniería de Samsung Electronics Hong Kong. “No importa el idioma, cualquier herramienta que ayude a las personas a comunicarse es invaluable. Creo que nuestro trabajo es significativo”.

En el próximo episodio de The Learning Curve (La curva de aprendizaje), nos dirigiremos a Brasil para ver cómo un equipo trabaja más allá de culturas y fronteras para llevar Galaxy AI a más personas.

Samsung es pionera en experiencias premium de Inteligencia Artificial (IA) móvil. Para saber cómo Galaxy AI está maximizando el potencial de sus usuarios, visitamos los centros Samsung Research en todo el mundo. Galaxy AI, que ahora admite 16 idiomas, permite que más personas amplíen sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo con funciones como Live Translate, Interpreter, Note Assist y Browsing Assist. Recientemente, visitamos Jordania para conocer las complejidades que implica desarrollar un modelo de IA para el árabe, un idioma con muchos dialectos. Esta vez, vamos a Vietnam para explorar cómo se preparan los datos para entrenar modelos de IA.

¿Cuál es la diferencia entre fantasma, tumba y madre en vietnamita? Para una lengua hablada por 97 millones de personas en todo el mundo, es muy poco. Cada palabra se traduce como “ma”, “mả” y “má”, respectivamente, y solo se puede distinguir por el tono. Esto ilustra lo difícil que puede ser para los modelos de IA aprender un idioma, considerando que no pueden reconocer de primera mano el contexto y las emociones de las conversaciones ni las intenciones de quienes hablan.

El Instituto de Investigación y Desarrollo de Samsung (SRV) de Vietnam utilizó datos finamente refinados para ayudar a que su modelo de IA reconociera adecuadamente incluso las diferencias más sutiles en el lenguaje.

La calidad de los datos utilizados afecta directamente la precisión del reconocimiento automático de voz (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS), procesos que ayudan las funciones de Galaxy AI como Live Translate, Interpreter, Chat Assist y Browsing Assist a romper las barreras del idioma.

Un tifón de desafíos

“El vietnamita es un idioma complejo y diverso con expresiones ricas, muchas de las cuales son difíciles de capturar“, dice Ngô Hồng Thái, líder de NMT en SRV. De los 16 idiomas que admite Galaxy AI, el vietnamita fue particularmente difícil de desarrollar.

“En lo personal, ¡crear un modelo de IA para vietnamita fue más desafiante que nuestros tifones!“, añade antes de explicar los obstáculos enfrentados durante el proceso de desarrollo.

El vietnamita es un idioma tonal con seis tonos distintos. Como es evidente en el ejemplo anterior de “ma”, pequeños matices en la vocalización pueden alterar drásticamente el significado de las palabras. Por lo tanto, era necesario un enfoque meticuloso y detallado.

“Cuando se desglosan palabras que suenan similares, una palabra consta de varios segmentos cortos o ‘conjuntos de fragmentos’“, dice Bui Ngoc Tung, líder de ASR en SRV. “El modelo de IA diferencia entre fragmentos de audio cortos de alrededor de 20 milisegundos para reconocer qué palabras corresponden a un determinado conjunto de fragmentos consecutivos. Como tal, es fundamental poner un gran esfuerzo en las primeras etapas del proceso de aprendizaje de la IA”.

Además, los homófonos y los homónimos son comunes en vietnamita. Normalmente, las personas usan el contexto y los elementos no verbales en las conversaciones para diferenciar entre palabras que suenan o que se escriben igual, pero tienen significados diferentes. Sin embargo, es necesario enseñar a los modelos de IA a identificar y diferenciar con precisión entre tonos y palabras similares.

“Esta no es una tarea sencilla“, explica Thái. “Aparte de la cantidad, los datos deben ser precisos para garantizar que sean capaces de reconocer los matices lingüísticos que existen en vietnamita“.

Preparación rigurosa

El proceso de refinamiento de datos consta de tres pasos: primero se debe revisar y corregir el audio y el texto utilizados para entrenar el modelo de IA; luego este conjunto de datos pasa por controles aleatorios de calidad general; finalmente el conjunto de datos se normaliza y limpia antes de su uso en el entrenamiento.

“Realizamos minuciosamente una serie de pruebas para comprobar la precisión de nuestro conjunto de datos“, afirma Nguyen Manh Duy, líder de TTS en SRV, quien supervisa la creación de bases de datos. “Nos enfrentamos a una serie de problemas inesperados, como palabras mal escritas en los guiones y ruido de fondo o pronunciación incorrecta durante las grabaciones de audio. Dedicamos mucho tiempo a perfeccionar y mejorar nuestros datos de entrenamiento”.

El equipo de Ingeniería de Calidad del Software (SQE) desempeña un papel fundamental en el proceso de perfeccionamiento de los datos, y en el camino que lleva a los datos de IA de ser buenos a ser excelentes. Este equipo desempeña un papel importante en la comprobación y mejora de la calidad de los datos del lenguaje de IA, y colabora estrechamente con el equipo del proyecto de desarrollo del lenguaje de IA para conseguirlo.

Más allá de los desafíos lingüísticos únicos del vietnamita, existe una falta de datos universalmente accesibles en comparación con los idiomas más hablados. “Ésta es otra razón por la que la etapa de refinamiento de los datos es tan importante“, añade. “Como teníamos fuentes limitadas, cada dato tenía que ser totalmente confiable. No había margen de error”.

Además, el modelo de IA para vietnamita debe considerar diferencias de tono y regionales. Para mejorar la precisión del modelo de IA, el equipo recopiló grandes cantidades de datos con los acentos del norte, centro y sur de Vietnam, lo que resultó en una enorme cantidad de información para refinar y verificar.

Mejora continua

Los desarrolladores de SRV completaron el proyecto después de meses de arduo trabajo y el vietnamita se convirtió en uno de los primeros idiomas admitidos por Galaxy AI. A pesar de este éxito, el equipo trabaja incesantemente para mejorar la experiencia con el idioma.

“Seguimos mejorando el modelo de IA incorporando comentarios de los usuarios sobre la relevancia de las palabras y frases en Galaxy AI“, dice Tran Tuan Minh, líder del proyecto de desarrollo del lenguaje de IA en SRV. “Acabamos de dar nuestros primeros pasos hacia un mundo más abierto y tenemos mucho más que explorar juntos“.

En el próximo episodio de The Learning Curve, nos dirigiremos a China para profundizar en cómo se entrenan y ajustan los modelos de IA.

Enseñar un idioma a un modelo de IA es un proceso complejo, pero ¿y si no se trata de un idioma singular, sino de una recopilación de dialectos diferentes? Ese fue el reto al que se enfrentó el equipo de Samsung de Investigación y Desarrollo (I+D) Institute Jordan (SRJO). Aunque se añadió el “árabe” como opción de idioma para funciones de IA de Galaxy como Live Translate, el equipo tuvo que estudiar los distintos dialectos árabes que se extienden por Oriente Medio y el norte de África, cada uno de los cuales varía en pronunciación, vocabulario y gramática. 

El árabe es uno de los seis idiomas más hablados del mundo, utilizado a diario por más de 400 millones de personas [1]. El idioma se clasifica en dos formas: Fus’ha (árabe moderno estándar) y Ammiya (los dialectos del árabe). Fus’ha se utiliza normalmente en actos públicos y oficiales, así como en los informativos, mientras que Ammiya es más común en las conversaciones cotidianas. Más de 20 países utilizan el árabe y actualmente hay unos 30 dialectos en la región.  

Reglas no escritas 

El equipo del SRJO, consciente de las variantes que presentan estos dialectos, empleó una serie de técnicas para discernir y procesar los rasgos lingüísticos únicos, inherentes a cada uno de ellos. Este enfoque fue crucial para garantizar que Galaxy AI pudiera entender y responder de una forma que reflejara con precisión los matices regionales. 

“A diferencia de otros idiomas, la pronunciación del objeto en árabe varía en función del sujeto y el verbo de la frase“, explica Mohammad Hamdan, jefe de proyecto del equipo de desarrollo del idioma árabe. “Nuestro objetivo es desarrollar un modelo que entienda todos estos dialectos y pueda responder en árabe estándar“. 

TTS es el componente de la función Live Translate de Galaxy AI, que permite a los usuarios interactuar con personas de diferentes idiomas traduciendo palabras habladas a texto escrito y reproduciéndolas después por voz. El equipo de TTS se enfrentó a un reto único debido a una peculiaridad de trabajar con el árabe. 

El árabe utiliza diacríticos, que son guías para la pronunciación de las palabras en algunos contextos, como textos religiosos, poesía y libros para estudiantes de idiomas. Los diacríticos son ampliamente comprendidos por los hablantes nativos, pero están ausentes en la escritura cotidiana. Esto dificulta que una máquina convierta el texto en bruto en fonemas, las unidades básicas de sonido que forman el habla. 

“Faltan conjuntos de datos fiables y de alta calidad que representen con precisión el uso correcto de los diacríticos“, explica Haweeleh. “Teníamos que diseñar un modelo neuronal que pudiera predecir y restaurar esos diacríticos perdidos con gran precisión“. 

Los modelos neuronales funcionan de forma similar a los cerebros humanos. Para predecir los diacríticos, un modelo tiene que estudiar muchos textos árabes, aprender las reglas del idioma y entender cómo se usan las palabras en distintos contextos. Por ejemplo, la pronunciación de una palabra puede variar mucho según la acción o el género que describa. La exhaustiva capacitación del equipo fue la clave para mejorar la precisión del modelo TTS árabe. 

Mejorar la comprensión 

El equipo del SRJO también tuvo que recopilar distintas grabaciones de audio de los dialectos procedentes de varias fuentes, que hubo que transcribir, centrándose en los sonidos, palabras y frases únicos. “Reunimos a un equipo de nativos en los dialectos que conocían bien los matices y variantes“, dice Ayah Hasan, cuyo equipo se encargó de la creación de la base de datos. “Escuchaban las grabaciones y convertían manualmente las palabras habladas en texto“.  

Este trabajo fue fundamental para mejorar el proceso de reconocimiento automático del habla (ASR) de modo que Galaxy AI pudiera manejar la gran variedad de dialectos árabes. ASR es fundamental para que Galaxy AI pueda comprender y responder en tiempo real. 

“Construir un sistema ASR que admita varios dialectos en un único modelo es una empresa compleja“, afirma Mohammad Hamdan, responsable de ASR en el proyecto. “Exige un conocimiento profundo de las complejidades del idioma, una cuidadosa selección de datos y técnicas avanzadas de modelado“.  

La culminación de la innovación 

Tras meses de planificación, construcción y pruebas, el equipo estaba listo para lanzar el árabe como opción lingüística para Galaxy AI, lo que permitiría a muchas más personas comunicarse más allá de las fronteras. Este equipo único consiguió que los servicios de IA de Galaxy estén disponibles para los que hablan árabe, reduciendo las barreras lingüísticas y culturales entre ellos y las personas de todo el mundo. Al hacerlo, estableció nuevas buenas prácticas que se pueden extender a todo el mundo. Este éxito es sólo el principio: el equipo sigue perfeccionando sus modelos y mejorando la calidad de las capacidades lingüísticas de Galaxy AI. 

En el próximo episodio, iremos a Vietnam para ver cómo se mejoran los datos lingüísticos. Además, ¿qué se necesita para entrenar un modelo de IA eficaz?  

El árabe es uno de los idiomas y dialectos disponibles con Galaxy AI y que se pueden descargar desde la aplicación Ajustes. Las funciones lingüísticas de Galaxy AI, como Traducción Simultánea e Intérprete, están disponibles en los dispositivos Galaxy que cuentan con la actualización One UI 6.1 de Samsung[2].  

[1] UNESCO, Día Mundial de la Lengua Árabe 2023, https://www.unesco.org/en/world-arabic-language-day 

[2] One UI 6.1 se lanzó por primera vez en los dispositivos de la serie Galaxy S24 con un despliegue más amplio a otros dispositivos Galaxy incluyendo las series S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 y Tab S8. 

Como tantos grandes inventos, Expert RAW fue un esfuerzo grupal, impulsado por los valiosos comentarios de los expertos de Samsung y los usuarios de Galaxy. Para obtener más información sobre la experiencia Expert RAW, Samsung Newsroom habló con los expertos de Samsung Research[2] que colaboraron en la aplicación.

Siga leyendo para ver lo que Hamid Sheikh, jefe del equipo de imágenes inteligentes del laboratorio de innovación de procesadores móviles (MPI) de Samsung Research America (SRA), y Girish Kulkarni, jefe del grupo de soluciones de cámara del Instituto de I+D de Samsung India-Bangalore (SRI- B), tienen que decir sobre esta innovadora colaboración para la cámara.

Conoce a Hamid Sheikh, jefe del equipo de imágenes inteligentes de MPI Lab

• Lidera un equipo de expertos en fotografía computacional de clase mundial encargados de desarrollar características de vanguardia para su uso en dispositivos móviles emblemáticos.
• Contribuyó al desarrollo de Super Resolution Zoom, Low Light Shot, tecnología de imágenes de alto rango dinámico, Night Mode, Expert RAW y más
• Anteriormente, formó parte del equipo que desarrolló la métrica de medición del índice de similitud estructural (SSIM), de fama mundial, que se utiliza para entrenar redes de IA en el procesamiento de imágenes.

Conoce a Girish Kulkarni, director del SRI-B’s Camera Solutions Group

• Dirige un equipo que se especializa en el desarrollo integral de soluciones de cámaras para dispositivos emblemáticos que utilizan IA (imágenes computacionales, inteligencia humana y visual) para ofrecer las mejores características de nivel profesional.
• Tiene una amplia experiencia en cámaras al trabajar con los teléfonos inteligentes de las series Galaxy A y Galaxy M de Samsung
• Camera Solutions Group trabaja en estrecha colaboración con los principales equipos de I+D de Samsung para ofrecer a los usuarios la mejor experiencia de cámara posible.

P: ¿Qué hace la aplicación Expert RAW? ¿Cuáles son los principales beneficios para los usuarios?

Hamid: Expert RAW realmente brinda a los usuarios la capacidad de tomar el control total de su experiencia de fotografía móvil como lo haría un fotógrafo profesional. La aplicación captura datos mucho más completos para cada imagen, que se pueden usar para mejorar las fotos y realzarlas artísticamente con software de edición como Adobe Lightroom, la aplicación de referencia para fotógrafos profesionales. 

Para mejorar la experiencia general de la cámara, trabajamos en estrecha colaboración con Adobe para combinar perfectamente Expert RAW con Lightroom. El resultado es que los fotógrafos tienen control total sobre su experiencia creativa. Los fotógrafos principiantes también pueden usar puntos de ajuste automáticos para los controles de la cámara y luego aplicar los valores predeterminados específicos de Samsung en Lightroom. En ambos casos, la estrecha integración de las dos aplicaciones hace que la experiencia sea agradable.

Girish: Expert RAW es un salto épico para la fotografía. Esencialmente, coloca un estudio profesional en tu bolsillo. Tanto si eres un fotógrafo profesional como si solo eres un usuario que quiere capturar contenido increíble, cualquiera puede aprovechar al máximo la cámara de nivel profesional de Galaxy S22 con Expert RAW. Captura imágenes de alta calidad y alto rango dinámico en formato RAW de varios fotogramas que permite una edición precisa posterior a la captura y resultados profesionales.

Con Expert RAW, las personas pueden capturar mucha más información en una sola imagen, desde detalles oscuros hasta luces brillantes. También reduce drásticamente el ruido y aumenta la nitidez y los detalles. Si estás buscando los últimos controles creativos, puedes elegir tu propia configuración para aspectos como ISO, velocidad de obturación, balance de blancos, EV y enfoque, e incluso elegir qué lentes deseas usar para el objetivo y la escena. Finalmente, debido a que tanto los archivos JPEG como los DNG se guardan al disparar, puedes ingresar directamente a la aplicación Adobe Lightroom en tu teléfono inteligente o PC y editar con facilidad. 

P: ¿Cuál fue la inspiración para Expert RAW?

Hamid: Las tecnologías de las cámaras de Samsung siempre se han basado en sofisticados algoritmos de fotografía computacional para producir la mejor calidad de imagen. Sin embargo, la aplicación de cámara convencional toma muchas decisiones sobre cómo se representará la imagen en términos de color, tono, detalle y ruido. El usuario tiene voz muy limitada en estas decisiones. 

Nuestra inspiración provino de la confluencia de las limitaciones de la experiencia del usuario y los saltos en las capacidades computacionales, además de inteligencia artificial de los procesadores móviles de hoy. Nos preguntamos: “¿Cómo podemos hacer que la experiencia fotográfica sea más inspiradora para los usuarios?” En realidad, nuestra inspiración provino de la comunidad de fotógrafos expertos y entusiastas, que anhelaba una experiencia de fotografía móvil más sencilla, sin sacrificar el control creativo que permiten las DSLR y la edición posterior a la captura. Expert RAW nació del deseo de transformar esa inspiración en realidad.

Girish: Cuando escuchamos las opiniones de fotógrafos profesionales que en su mayoría utilizaban cámaras DSLR, querían lograr una experiencia de nivel profesional con los teléfonos inteligentes. Nuestra investigación de consumidores también mostró que después de usar la cámara automática de su teléfono inteligente durante mucho tiempo, a los usuarios típicos les apasionaba explorar en profundidad las capacidades de la cámara de nivel profesional de Samsung para convertirse en mejores fotógrafos.

Cuanto más hablábamos con fotógrafos profesionales y aficionados, más entendíamos sus necesidades en términos de captura de imágenes RAW, controles de cámara, experiencia de postedición, capacidades creativas y más. Fue entonces cuando nos propusimos crear una nueva experiencia de nivel profesional basada en la captura RAW para que cada nivel de fotógrafo pudiera combinar los controles de nuestra cámara y su creatividad con el fin de disfrutar de fotos de aspecto profesional. 

P: ¿Qué hace que Expert RAW sea un lanzamiento tan importante para la fotografía móvil en general? 

Hamid: La experiencia de la cámara es una de las experiencias más importantes que tiene un usuario con su teléfono inteligente. Samsung ha estado a la vanguardia de la calidad de las cámaras, y la brecha entre los consumidores y los fotógrafos profesionales/entusiastas siempre ha sido tentadora de cerrar. 

Creo que con el lanzamiento de Expert RAW, los usuarios descubrirán que su experiencia fotográfica dará un salto cualitativo en términos de control creativo y expresión artística. Espero que más y más personas encuentren esta nueva experiencia gratificante porque les permite personalizar su cámara en función de sus gustos, exactamente como la quieren, y no en relación de lo que otros ingenieros eligieron para ellos.

Girish: Como aplicación, esta plataforma ha simplificado el proceso de captura RAW con controles precisos de cámara y lente y postedición con Adobe Lightroom. Es para todos los usuarios que están dispuestos a ir más allá: liberar el verdadero poder de una cámara Expert RAW y explorar su lado creativo.

P: ¿Qué rol tuvo MPI Lab en el desarrollo de Expert RAW?

Hamid: Cada vez que estamos creando una experiencia de usuario completamente nueva, tenemos que considerar y superar muchos desafíos de ingeniería difíciles. MPI Lab desarrolló la idea principal detrás de Expert RAW y sus tecnologías, y sabíamos que era un desafío que valía la pena perseguir.

Desarrollamos un nuevo flujo de fotografía computacional que puede producir tanto archivos DNG como JPEG procesados. No fue fácil generar un flujo de fotografía computacional compleja desde cero. No teníamos el beneficio de una base tecnológica más antigua y madura sobre la cual construir; pero nuestro equipo desarrolló con éxito esta nueva tecnología 3DISP basada en IA para producir datos sin procesar que se ven muy naturales cuando los usuarios los cargan en aplicaciones de edición como Adobe Lightroom.

P: ¿Qué rol tuvo SRI-B en el desarrollo de Expert RAW? ¿Cuáles fueron las principales áreas de enfoque del equipo? 

Girish: Expert RAW fue un proyecto de I+D complejo, y el papel de SRI-B fue pensar en términos de extremo a extremo para la mejor experiencia del consumidor. Esto requería experiencia en múltiples dominios y una profunda colaboración entre múltiples equipos. 

SRI-B cuenta con equipos con mucha experiencia en múltiples dominios, por lo que formamos un grupo de expertos talentosos. Todos trabajaron juntos como un solo equipo dentro de SRI-B y también colaboraron con un equipo más grande de expertos con sede en Corea y en el laboratorio MPI.

La experiencia en múltiples dominios y la estrecha colaboración con todas las partes interesadas clave ayudaron a SRI-B a centrarse continuamente en mejorar la experiencia del producto Expert RAW, el flujo de extremo a extremo, etc.

P: ¿Podrían ofrecer más detalles sobre la colaboración entre ustedes?

Hamid: MPI Lab ha estado trabajando con SRI-B a lo largo de toda nuestra historia en Samsung. SRI-B aportó su increíble conjunto de habilidades y recursos para el desarrollo de tecnologías de software, así como bloques clave de IA para la canalización Expert RAW. También poseían la parte de la interfaz de usuario de la aplicación Expert RAW y proporcionaron muchos puntos de innovación en la experiencia Expert RAW. Siempre es divertido trabajar con ellos.

Girish: MPI Lab tiene experiencia de clase mundial en el dominio de imágenes computacionales y tiene un historial comprobado de desarrollo de IP exitosas para productos insignia de Samsung. Esa experiencia fue uno de los requisitos clave para el desarrollo de Expert RAW. MPI Lab ideó la implementación de bloques de construcción de canalización de marcos múltiples, lo que ayudó a mejorar la integración de SRI-B y mejorar lo mismo para la arquitectura y la canalización de extremo a extremo.

Una de las principales expectativas para Expert RAW era que permitiría la mejor calidad de imagen en diferentes condiciones de iluminación, lo que requiere el ajuste del flujo de procesamiento de múltiples cuadros. La sólida experiencia de MPI en esta área nos ha ayudado a mejorar continuamente la calidad de imagen antes del lanzamiento comercial. En resumen, la experiencia de MPI en imágenes computacionales y la amplitud de conocimientos de SRI-B en múltiples subdominios ayudaron a SRI-B a preparar la experiencia integral de Expert RAW para el lanzamiento comercial.

SRI-B y MPI Lab utilizaron su diferencia de zona horaria de 12 horas de manera eficaz para planificar y colaborar en Expert RAW. El día de SRI-B era la noche de MPI y viceversa. Ayudó tener un desarrollo 24/7 para terminar esta característica compleja en un tiempo récord. Estamos orgullosos de la cultura de Samsung que permite una colaboración respetuosa entre diferentes centros de I+D en el extranjero y siempre disfrutamos trabajar con MPI Lab.

P: ¿Cómo planean MPI Lab y SRI-B aprovechar esta colaboración para desarrollar tecnologías de cámara aún más innovadoras?

Hamid: Nuestro camino con la nueva experiencia de cámara RAW apenas comienza. Estoy emocionado de pensar en las nuevas mejoras y actualizaciones que podemos hacer. Una de las mejores partes de la experiencia Expert RAW es que el fotógrafo está al frente y al centro. Conservaremos eso a medida que analizamos activamente las experiencias de diferentes usuarios e implementamos mejoras continuamente para hacer que Expert RAW sea incluso mejor que antes.

Girish: MPI Lab y SRI-B han estado trabajando juntos durante los últimos años para desarrollar el mejor modo nocturno del mundo para los teléfonos inteligentes insignia de Samsung. Esta colaboración nos ayudó a llegar a la historia de éxito de Expert RAW en el Galaxy S22. Estamos entusiasmados de continuar con ese impulso para los próximos productos innovadores por venir.

En el futuro, nos gustaría mejorar continuamente Expert RAW con un enfoque en la creación de un nuevo ecosistema para la fotografía profesional que utilice plenamente las capacidades de una cámara de nivel profesional.

Colaborar para alcanzar la Creatividad

Funciones como Expert RAW subrayan el compromiso de Samsung de desarrollar herramientas que permitan a los usuarios dar rienda suelta a su creatividad. 

En el futuro, la compañía continuará fortaleciendo las colaboraciones que aprovechan el conocimiento y las capacidades de su red de centros de I+D de clase mundial. Hacerlo ayudará a descubrir tecnologías que cambiarán la forma en que vivimos, trabajamos y creamos.

[1] Expert RAW debe descargarse por separado del Galaxy Store, de forma gratuita, antes de su uso. La disponibilidad de la aplicación Expert RAW actualmente está limitada a las series Galaxy S21 Ultra y S22. Los miembros de Samsung notificaron que Expert RAW estará disponible en Galaxy Z Fold3 en abril de 2022 y Galaxy S20 Ultra, Galaxy Note20 Ultra y Galaxy Z Fold2 a finales de este año.

[2] Centro de investigación y desarrollo avanzado de Samsung Electronics, que lidera el desarrollo de tecnologías futuras para su división Device eXperience.

En esta serie, Samsung Newsroom presenta a expertos en tecnología de los centros de I+D de Samsung de todo el mundo para que conozcan el trabajo que realizan y la forma en que están mejorando directamente la vida de los consumidores.

El tercer experto de la serie es Bin Dai, ingeniero del laboratorio de Inteligencia Artificial (IA) en el Instituto de I+D de Samsung China – Pekín (SRC-B). Dai se incorporó al SRC-B en 2020 para unirse a sus colegas en el trabajo de compresión de redes y diseño e investigación de modelos de dispositivos. Continúa leyendo para saber más sobre las innovadoras tecnologías que Dai y su equipo están desarrollando en el SRC-B.

P: Las tecnologías basadas en la IA, incluyendo el PNL (Procesamiento del Lenguaje Natural) y la inteligencia acústica, son áreas de investigación de vanguardia que abren constantemente nuevos caminos. Pero, ¿qué papel desempeña la oferta de investigación básica que ofrece el aprendizaje automático como trasfondo de estas innovaciones?

El aprendizaje automático desempeña un papel crucial a la hora de llevar todo tipo de tecnologías directamente a los usuarios. La visión computacional y el reconocimiento del habla son dos de las áreas más exitosas que utilizan actualmente la IA. Sin embargo, los algoritmos de IA existentes requieren enormes recursos de computación, lo que dificulta la implementación de algoritmos de última generación en los dispositivos móviles. Para solucionar este problema, nuestro Laboratorio de Inteligencia Artificial está trabajando en la producción de modelos diminutos con un potente rendimiento, desde una perspectiva teórica y práctica. De este modo, nuestro núcleo de investigación está destinado a innovar todo tipo de tecnologías basadas en la IA.

P: ¿Podría presentar brevemente el Instituto de Investigación de Pekín y el tipo de trabajo que realiza?

El SRC-B es uno de los centros avanzados de I+D de Samsung Electronics y se creó en 2000, siendo el primer centro de I+D de Samsung que se estableció en China. El SRC-B se centra en tecnologías innovadoras y se especializa en inteligencia artificial (IA) y telecomunicaciones de próxima generación, desde el aprendizaje automático, la visión computacional, el procesamiento del lenguaje y la inteligencia de voz hasta la estandarización del 3GPP, entre otros. También promovemos estrechas colaboraciones entre la industria y el mundo académico. En abril de 2019, se creó el AI Lab para centrarse en la investigación fundamental del aprendizaje automático, y buscamos continuamente formas de aplicar los resultados de nuestras investigaciones a los productos de Samsung.

P: Tras el éxito de su investigación principal y otros logros, ¿en qué está trabajando actualmente?

El objetivo del SRC-B es encontrar la mejor manera posible de mejorar la precisión de un algoritmo de inteligencia artificial, reduciendo al mismo tiempo la complejidad de los cálculos y los recursos utilizados para ello. Con el fin de lograr estos objetivos, estamos trabajando en dos temas de investigación que permiten realizar predicciones precisas con menos datos: las redes equivariantes, que forman parte del aprendizaje profundo geométrico y la inferencia dinámica. Hay muchos tipos de simetrías en los conjuntos de datos de visión computacional que son capaces de proporcionar una medición precisa de la profundidad de los ojos humanos, como las nubes de puntos de imágenes y LiDAR. Con una red equivariante, estas simetrías se tienen en cuenta al diseñar la red. De este modo, se consigue un mejor rendimiento con menos recursos, ya que se tiene en cuenta específicamente la estructura intrínseca del conjunto de datos.

La inferencia dinámica es también una dirección de investigación muy interesante. A diferencia de los métodos convencionales que utilizan una arquitectura fija para todas las muestras de datos, la inferencia dinámica puede decidir de forma adaptativa cuántos recursos utilizar para cada muestra de datos. Así, utiliza menos recursos computacionales para las muestras sencillas y más recursos para las difíciles, por lo que el promedio de recursos computacionales empleados puede reducirse considerablemente.

P: La investigación fundamental de la IA ha potenciado todo tipo de aplicaciones para el usuario, desde la visión computacional hasta el reconocimiento del habla. ¿Podría explicarnos un poco más el porqué de esto y la dirección de la investigación que usted y el AI Lab han tomado para optimizar las experiencias móviles?

En esta era de Internet, los datos nos inundan por todas partes. Donde hay datos, hay conocimiento y los algoritmos de IA son la mejor herramienta para descubrir esta información que se esconde detrás de los datos y utilizarla para mejorar nuestras vidas.

Hemos desarrollado un algoritmo de compresión de redes basado en la teoría del cuello de botella de la información —que postula que los detalles extraños pueden eliminarse de los datos de entrada ruidosos como si pasaran por un cuello de botella— que se aplicó a múltiples tareas, como el reconocimiento de videos, la segmentación de imágenes y la traducción automática. También colaboramos activamente con otros laboratorios del SRC-B para desarrollar algoritmos de IA más potentes, como las soluciones de búsqueda de Neural Architecture Search (NAS) y Once-For-All (OFA). 

P: ¿Cuáles son los principales beneficios para el usuario de la incorporación de todas las tecnologías móviles de base con tecnologías de IA centradas en el aprendizaje automático?

Las tecnologías de IA basadas en el aprendizaje automático pueden mejorar drásticamente la vida de los usuarios de tres maneras fundamentales. En primer lugar, hay muchas funciones prácticas que simplemente no pueden funcionar sin las tecnologías de IA. Por ejemplo, el sistema de preguntas y respuestas automáticas en los dispositivos móviles tiene que ser impulsado por algoritmos de IA. Otros métodos más tradicionales sólo son capaces de manejar preguntas muy limitadas y predefinidas.

En segundo lugar, las técnicas de IA pueden mejorar significativamente el rendimiento de muchas aplicaciones en comparación con su rendimiento cuando se aprovechan únicamente las tecnologías convencionales. Por ejemplo, tras aplicar redes neuronales profundas a la función de procesamiento de señales de imagen (ISP) de una cámara, la calidad de las fotos tomadas mejora considerablemente.

En tercer lugar, las tecnologías de IA son capaces de proporcionar servicios que los usuarios antes ni siquiera sabían que necesitaban. Por ejemplo, la IA es capaz de desarrollar un software específico para el usuario basado en sus preferencias concretas, lo que significa que la experiencia del usuario con el dispositivo puede mejorar continuamente.

▲ Investigadores del Instituto Samsung de I+D de China – Pekín

P: ¿Cómo se integra su trabajo con el que realiza el resto del Instituto de I+D de Samsung China – Pekín, u otros Institutos de todo el mundo? ¿Cómo se conjuga para hacer más cómoda la vida de los usuarios?

Colaboramos constantemente con los demás equipos del SRC-B. Recientemente trabajamos con nuestro equipo de Computación Visual para aplicar nuestro algoritmo de compresión basado en el cuello de botella de la información a las tareas de reconocimiento de video y de segmentación humana, lo que ha dado como resultado una reducción significativa del tamaño de los modelos sin ninguna disminución del rendimiento. En 2021, participamos en el concurso de Búsqueda de Arquitectura Neural (NAS) de la Conferencia sobre Visión por Ordenador y Reconocimiento de Patrones (CVPR) como un equipo con esta solución, y ganamos el primer lugar.

Igualmente, colaboramos con nuestro equipo de Language Intelligence para comprimir su modelo de traducción automática, lo que facilita la comercialización de su aplicación.

También creemos que podemos obtener mejores resultados de investigación y aplicación si seguimos comunicándonos, debatiendo y colaborando con los centros de IA de todo el mundo.

P: ¿Cuáles considera que son las principales tendencias de su sector actualmente? ¿Cómo las ha incorporado a la investigación que lleva a cabo en el Instituto de I+D de Samsung China – Pekín?

Hay muchos temas de tendencia en nuestro campo en este momento. El diseño de arquitecturas de red eficientes, el aprendizaje autosupervisado y las redes neuronales gráficas son sólo algunos ejemplos.

Nos centramos en la compresión de redes y en el diseño de modelos minúsculos, que en última instancia son útiles para las aplicaciones en dispositivos móviles. Hay muchos dispositivos móviles, como los smartphones, que poseen recursos computacionales muy limitados, lo que significa que es imposible desplegar en ellos los enormes modelos diseñados para los servicios. Por ello, mi equipo se centra en diseñar modelos adecuados para estos dispositivos.

Hay diferentes maneras de conseguir este tipo de modelos livianos y poderosos. Por ejemplo, la depuración de redes, la cuantificación, la destilación de conocimientos, la búsqueda de arquitecturas de redes neuronales y la inferencia dinámica, todas son algunas de las áreas de la industria en las que nos estamos centrando ahora mismo para conseguirlo.

P: ¿Cuál ha sido el logro del Instituto de I+D de Samsung China – Pekín del que se siente más orgulloso hasta ahora?

Desarrollado en colaboración con nuestro equipo de investigación en comunicaciones, diseñamos algoritmos de IA para la comunicación inalámbrica. Esta solución consiguió el primer puesto en la competencia de IA para comunicaciones inalámbricas (WAIC) de este año, que es el evento oficial de 5G+AI en China, en la que participan más de 600 equipos de todo el mundo y que está organizada por la Academia China de Tecnología de la Información y la Comunicación (CAICT). Estoy orgulloso de este logro y siento que valida mi creencia de que la 5G combinada con la IA es una dirección de investigación con gran potencial.

En el siguiente episodio conocerás una entrevista con Evgeny Pavlov, experto en software de sistemas del Instituto de I+D de Samsung en Rusia (SRR).