Hay un dicho en el Instituto de Investigación y Desarrollo de Samsung de Polonia (SRPOL, por sus siglas en inglés): “Un día en SRPOL dura 96 ​​horas”, lo que refiere a su papel global como uno de los centros de Investigación y Desarrollo (I+D) más grandes y de más rápido crecimiento en la región, que a menudo trabaja en cuatro zonas horarias diferentes. Ubicado en el corazón de Europa y cubriendo muchos mercados europeos y globales, SRPOL ha trabajado en avances como el reconocimiento automático de voz, la traducción automática neuronal y modelos de texto a voz para más de 30 idiomas. Cuando se buscó incorporar 10 idiomas a Galaxy AI, esta experiencia significó que el equipo estaba bien preparado para combinar continuamente las perspectivas culturales con la tecnología global de Samsung. 

SRPOL tiene años de experiencia en procesamiento del lenguaje natural, pero lo que lo hace único es su adaptabilidad para trabajar en cualquier idioma gracias al apasionado equipo y a sus herramientas, como una plataforma de crowdsourcing que permite un desarrollo rápido y ágil. 

“La colaboración en todo el continente significa la recopilación, anotación e investigación de datos incesantes, lo que se ha convertido en algo que realmente disfrutamos“, afirma Kornel Jankowski, Head de Decodificación de Voz de SRPOL. “Hemos trabajado con tantos idiomas que nuestro equipo desarrolló habilidades universales e independientes del idioma. Cuando nos piden que apoyemos un nuevo modelo de lenguaje, la actitud de todos es: ‘¡Oh, vaya, aprenderemos otro, será divertido!’”. 

Un centro europeo para el desarrollo del lenguaje de IA 

El idioma es una piedra angular de la cultura y la comunicación en toda Europa, independientemente de si está incorporado a la tecnología. Sin embargo, presenta desafíos únicos para el equipo de SRPOL, que desarrolla modelos de inteligencia artificial para idiomas europeos. 

“Cada idioma y la cultura de la que forma parte conlleva obstáculos que nos hacen reevaluar cómo percibimos un tema específico”, explica Adam Ros, Head de Inteligencia Artificial de SRPOL. Estos obstáculos incluyen sortear la intraducibilidad de ciertas frases y manejar expresiones idiomáticas que pueden no tener equivalentes directos en otros idiomas. 

El equipo vio estos desafíos como una oportunidad para hacer de SRPOL un centro europeo para el desarrollo del lenguaje de Inteligencia Artificial (IA). El mayor beneficio de esto es que acorta el camino de comunicación entre diferentes departamentos y, fundamentalmente, la toma de decisiones. Ya sea que se trate de reconocimiento automático de voz, traducción automática neuronal o texto a voz, los equipos podrían simplemente acercarse a sus colegas en Garantía de Calidad Móvil y resolver juntos los problemas de manera eficiente. 

Si bien esto ha ayudado, no ha superado todos los desafíos de la IA. Inevitablemente, existen limitaciones en estos modelos cuando se trata de múltiples idiomas europeos, como la traducción sin contexto o variaciones en la entonación. Sin embargo, el equipo vio esto como una oportunidad para seguir aprendiendo e innovando. 

“Mi equipo nunca se detiene en un solo ejemplo cuando maneja una palabra o tema nuevo. Algunas lenguas europeas son más difíciles que otras”, añade Ros. “Si alguna vez has estado en España, sabrás que el español se habla a menudo a velocidades vertiginosas y necesitamos entrenar bien a la IA para manejar eso”. 

La expansión de Galaxy AI requirió una novedosa colaboración entre continentes, pero el trabajo pronto creció más allá de las fronteras europeas. SRPOL apoyó los esfuerzos del equipo de Jordania para enseñar la gran variedad de dialectos árabes de Galaxy AI, y también ayudó al equipo de Brasil en idiomas latinoamericanos. 

La importancia de las sutilezas del idioma y las diferencias culturales están en el radar de los desarrolladores de productos SRPOL, porque todas ellas pueden notarse por un objetivo común: los usuarios finales. 

“Existen diferencias sutiles entre las culturas europeas que influyen en si algo se siente natural para el usuario final. Por ejemplo, en algunos países la gente espera leer los precios con el símbolo del euro (€), mientras que otros están acostumbrados a verlo escrito, e-u-r-o-s”, dice Agata Maria Rozycka, Head de Investigación de Inteligencia de Voz en SRPOL. “Si este matiz cultural no se refleja en el texto traducido, la interfaz puede parecer menos intuitiva para el usuario. La implementación de estos conocimientos a nivel micro en el diseño de interfaces puede hacer que la tecnología se sienta más natural en diversas culturas”. 

“El equipo se ha estado comunicando y colaborando de forma remota en diferentes países durante muchos años, creando numerosos canales de comunicación eficaces“, afirma Marcin Mrugala, Head de Garantía de Calidad Móvil de SRPOL. “Estábamos listos para hacer nuestra parte para permitir que Galaxy AI reduzca las barreras del idioma en todo el mundo“. 

Tecnología para unir culturas 

Gestionar e integrar diversos conocimientos lingüísticos y culturales es una tarea desafiante, pero es esencial para la visión de Samsung para Galaxy AI, que consiste en reducir las barreras que dividen a las personas según el idioma y la cultura, y permitirles crear conexiones más profundas. 

“No sólo estamos construyendo la tecnología del futuro, también los equipos del futuro. Nuestras prácticas mejoradas están diseñadas para perfeccionar los productos en función de las diferencias entre países, pero fundamentalmente creemos que nuestras similitudes superan con creces nuestras diferencias y que nuestra tecnología puede unir culturas”, afirma Mrugala. 

“Nuestro objetivo es unir a las personas, hacerles la vida más fácil y simplificar sus tareas diarias. Estamos viendo a nuestras familias usar la Grabadora de Voz de nuevas maneras y ahora podemos llamar a nuestros amigos en diferentes países y hablar con ellos en su idioma. Es mágico ver este cambio en el mundo y ser parte de él. Galaxy AI unió a la gente de SRPOL y ahora estamos uniendo al mundo”, concluye Rozycka. 

Dentro del Instituto de Tecnología Vellore en Chennai, India, hay un laboratorio repleto de equipos de audio futurista. En él, se pueden encontrar maniquíes, conocidos en la industria como simuladores de cabeza y torso, así como micrófonos binaurales y audífonos. Estos equipos se almacenan en cámaras especiales, tratadas con un avanzado sistema de absorción acústica, lo que convierte a este laboratorio en el primero en su tipo en la India. Ahora Imaginen que una instalación así se utiliza para desarrollar los últimos equipos de alta fidelidad (Hi-Fi) de próxima generación.  

Aquí es donde el Instituto de Tecnología Vellore colabora con Samsung para producir y desarrollar datos e ideas que impulsan los últimos modelos de Inteligencia Artificial (IA) para las capacidades lingüísticas de Galaxy AI. El centro se desarrolló como parte de los Samsung SEED (Students Ecosystem for Engineered Data) Labs, una iniciativa que desde 2021 permite al personal universitario, estudiantes y becarios en India trabajar en proyectos de Samsung. Este es solo uno de varios programas universitarios financiados por la marca, en el que los alumnos tienen la oportunidad de trabajar en proyectos con expertos técnicos de la empresa.  

“Como estudiante, me encanta poder trabajar en varios proyectos con una empresa conocida y respetada como Samsung“, asegura Yashika Ilanchezhiyan, estudiante de Samsung SEED. “Me dieron la confianza para aprender nuevas habilidades de manera práctica y siento que estoy marcando una diferencia real en los productos actuales y futuros“. 

“En este tipo de colaboración todos salen ganando“, afirma Giridhar Jakki, director de IA para idiomas en el Instituto de Investigación y Desarrollo de India – Bangalore (SRI-B). “Gracias a nuestros proyectos con universidades, podemos acceder a conocimientos adicionales y a conjuntos de datos personalizados. A cambio, las universidades asociadas reciben inversión, incentivos financieros y asesoramiento especializado de Samsung“. 

Reducir las barreras del idioma 

SRI-B ha colaborado con equipos de todo el mundo para desarrollar modelos de inteligencia artificial para el inglés británico, indio y australiano, así como para los idiomas tailandés, vietnamita e indonesio. Recientemente, los principales ingenieros de otros centros de investigación de Samsung visitaron Bangalore (India), donde el equipo de SRI-B ayudó a desarrollar la tecnología para incorporar el vietnamita, el tailandés y el indonesio a Galaxy AI. De este modo, SRI-B se situó en una posición ideal para desarrollar el idioma hindi para Galaxy AI. 

Según Jakki, “Cada idioma tiene sus desafíos. Pero cuando pensamos en el objetivo final de brindarle a las personas la capacidad de comunicarse en otros idiomas, todo el esfuerzo vale la pena. No veíamos la hora de incorporar el hindi a Galaxy AI“. 

Desarrollar el modelo de IA en hindi no fue fácil. El equipo tuvo que garantizar la inclusión de más de 20 dialectos regionales, inflexiones vocales, puntuación y coloquialismos. Además, los hablantes de hindi suelen mezclar palabras en inglés en sus conversaciones, lo que requirió que el equipo realizara varias sesiones de entrenamiento con modelos de IA, con una combinación de datos traducidos y transliterados.  

“El hindi tiene una estructura fonética compleja que incluye sonidos retroflejos, los cuales se producen al curvar la lengua hacia atrás y que no existen en muchos otros idiomas“, afirma Jakki. “Para desarrollar el elemento de síntesis de voz en la solución de IA, analizamos cuidadosamente los datos con lingüistas nativos para comprender todos los sonidos únicos y creamos un conjunto especial de fonemas para abarcar dialectos específicos del idioma“. 

Los esfuerzos de colaboración entre Samsung y sus socios académicos fueron fundamentales para desarrollar el modelo de lenguaje de inteligencia artificial que reflejara los matices culturales de las regiones de la India. El Instituto de Tecnología Vellore contribuyó significativamente, al obtener casi un millón de líneas de datos de audio segmentados y organizados de voz, palabras y comandos conversacionales. Estos datos fueron un componente clave para una tarea tan crítica como la incorporación del cuarto idioma más hablado del mundo a Galaxy AI. Trabajar con universidades garantizó que Samsung utilizara información de la más alta calidad.  

Conexiones globales que generan grandes impactos 

 Este proyecto resume a la perfección la filosofía de colaboración abierta de Samsung y la convicción de la compañía de que compartir conocimientos y perspectivas garantiza una innovación significativa. En el caso de SRI-B, no solo implica trabajar con el mundo académico, también compartir ideas y prácticas recomendadas con otros centros de investigación de Samsung en todo el mundo. 

“Estoy muy orgulloso de lo que hemos logrado con la ayuda de nuestros socios“, afirma Jakki. “La innovación en IA mediante la colaboración es una gran parte de lo que hacemos. Continuaremos mejorando la comprensión, recopilación y análisis de datos lingüísticos para que más personas puedan acceder a las herramientas de IA en el futuro“. 

Brasil, un país diverso con más de 203 millones de habitantes, es una nación que encarna una amplia gama de culturas y tradiciones, y habla el portugués brasileño como idioma oficial; mientras que los 22 países vecinos hablan español. 

Aunque el portugués brasileño y el español latinoamericano se hablan ampliamente, las intrincadas variaciones de ambos idiomas presentaron varios desafíos al enseñar a la Galaxy AI a discernir y distinguir las diferencias regionales. Es por eso por lo que el Instituto de Investigación y Desarrollo de Samsung Brasil (SRBR) colaboró con expertos de Samsung de México, así como con aliados externos, como los institutos de ciencia y tecnología SiDi y Sidia, para formar un equipo multidisciplinario y altamente capacitado que pudiera enfrentar esta tarea. 

Menos barreras, más comprensión 

El equipo utilizó miles de fuentes y una combinación de aprendizaje automático y lenguaje para mejorar el reconocimiento del habla, los textos escritos y las variaciones regionales del modelo de IA. Pero la jerga local y los nombres de figuras famosas (incluidos equipos deportivos, celebridades y bandas) varían mucho entre regiones. Además, el mismo significado puede expresarse con palabras diferentes. Si bien los modelos lingüísticos necesitan datos localizados para obtener una comprensión integral de los diferentes idiomas para traducir, tales variaciones inevitablemente presentan obstáculos.  

Por ejemplo, decimos “alberca” en México, pero es “pileta” en Argentina, Paraguay y Uruguay; en Colombia, Bolivia y Venezuela la alberca es “piscina”, al igual que en Brasil, pero con una ligera diferencia tonal. Y mientras que los colombianos dicen “chévere” para referirse a algo interesante, los mexicanos decimos “padre”. 

Estas diferencias representan enormes desafíos para la comprensión y el aprendizaje del lenguaje de la IA, pero el equipo los superó construyendo modelos de lenguaje más amplios, perfeccionando las herramientas de procesamiento y colaborando a través de fronteras y zonas horarias. 

“Tuvimos que considerar la jerga local y diferentes formas de hablar antes de adaptar y probar el modelo respectivo, lo que requirió una estrecha colaboración entre el equipo de control de calidad (QA) de SRBR y los equipos de desarrollo“, dice Mateus Pedroso, gerente senior y jefe del Laboratorio de Calidad de Software. en SRBR. “Dado que SRBR está tres horas adelantado del equipo de control de calidad en México y 12 horas atrasado del equipo de gestión en Corea, tuvimos que crear nuevos canales y procesos de comunicación para alinear resultados y compartir progresos. Esta colaboración multicultural generó una lluvia de ideas y soluciones para Galaxy AI”. 

Comunicar el éxito  

La filosofía de colaboración abierta de Samsung cobró vida durante este proyecto regional, ya que fue un proceso iterativo que aprovechó la evolución de la tecnología a escala global. Para superar las barreras lingüísticas y culturales, el equipo de SRBR necesitaba recopilar, gestionar y desarrollar cantidades masivas de datos, refinando y mejorando continuamente las fuentes de audio y texto. 

Los equipos crearon áreas clave de responsabilidad para garantizar que todos pudieran beneficiarse de las habilidades colectivas en las oficinas latinoamericanas de la empresa. El equipo de desarrollo de SRBR actuó como parte intermediaria del proyecto, recibió instrucciones de la sede de Samsung y desarrolló nuevas actualizaciones para mejorar el modelo de IA mientras realizaba pruebas para varios escenarios. 

“La fase de prueba requirió una amplia comunicación y colaboración con los equipos de control de calidad para optimizar la experiencia del usuario, y cada ajuste requirió pruebas y revisiones adicionales“, dice Leandro Flores de Moura, Gerente de Desarrollo de Software de SiDi. “El éxito de las capacidades lingüísticas de Galaxy AI se basa tanto en la comunicación y la colaboración como en la experiencia técnica“, añade Nathan Castro, desarrollador de pruebas de control de calidad en SiDi. 

Un camino para la cultura 

Lo que hace que Galaxy AI sea particularmente interesante para todos los involucrados es que no se trata simplemente de un proyecto de lenguaje. Para ellos, el idioma es una guía cultural que proporciona información valiosa sobre la herencia y la identidad de las personas. 

“Para el equipo de control de calidad de SiDi, este fue un esfuerzo que cambiará el mundo al permitir que las culturas se unan y superen la dificultad de comunicarse en diferentes idiomas“, agrega Estefanía Castro Suárez, desarrolladora de pruebas de SiDi. “Saber que fuimos parte de esto nos llena de orgullo y motivación”. 

“La forma en que colaboró el equipo de SRBR ejemplifica lo que Galaxy AI se propone lograr: hacer del mundo un lugar más cercano mediante la comunicación, el intercambio y la interacción con personas, incluso con aquellas que hablan diferentes idiomas”, concluye Pedroso. “Esta capacidad solo crecerá a medida que se incorporen más idiomas a Galaxy AI“. 

Mientras Samsung continúa siendo pionero en experiencias premium de IA móvil, visitamos los centros de investigación de Samsung de todo el mundo para conocer cómo Galaxy AI permite que más usuarios maximicen su potencial. Galaxy AI ahora admite 16 idiomas, por lo que más personas pueden ampliar sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo en funciones como o Live Translate, Interpreter, Note Assist y Browsing Assist. Pero ¿qué implica el desarrollo del lenguaje de IA? La última vez visitamos Vietnam para aprender cómo preparar los datos que se utilizan para entrenar modelos de IA. Esta vez, presentaremos cómo los equipos hicieron de Galaxy AI una oferta única tanto para China continental como para Hong Kong.

Se ha observado en todo el mundo el rápido crecimiento de las herramientas de Inteligencia Artificial (IA) que utilizan grandes modelos de lenguaje (LLM), y China no es una excepción. Con ERNIE Bot de Baidu y MiracleVision de Meitu emergiendo como opciones populares en China, Samsung R&D Institute China se asoció con ambas compañías para ayudar a desarrollar funciones de Galaxy AI para su país.

El Samsung R&D Institute China en Guangzhou (SRC-G) y Beijing (SRC-B) trabajaron para garantizar que los hablantes de mandarín en China tuvieran la misma experiencia de Galaxy AI que otros usuarios en todo el mundo, a pesar de que la tecnología de back-end se ve diferente. El equipo aprovechó los recursos dedicados a dialectos chinos de socios externos y creó una solución Galaxy AI única para China.

“Tenemos la ventaja de combinar las mejores acciones internacionales con las acciones locales de China, además de crear nuevas características y mejorarlas constantemente a través de la comunicación diaria con los consumidores chinos“, dice Hairong Zhang, líder del grupo de innovación de software en SRC-G. “Con la amplia experiencia en desarrollo de Galaxy S24, estoy orgulloso de cómo nuestro equipo cooperó con empresas locales chinas de inteligencia artificial, como Baidu y Meitu, para brindar una solución que impacte en China“.

Al principio, los equipos tuvieron que aclimatarse a los estilos de trabajo de cada uno y solucionar los problemas iniciales de asimetría de información. Daijun Zhang, director de SRC-B, estableció un grupo de trabajo para garantizar que el proyecto siguiera el cronograma de desarrollo y avanzara rápidamente hacia sus objetivos.

Gracias a la experiencia del equipo de Beijing en la generación de modelos a gran escala y la colaboración exitosa con socios externos, todas las funciones de IA generativa se lanzaron con éxito en China. El resultado es una solución que tiene relevancia local y características específicas para el mercado, como Touch to Search (Tocar para buscar).

Ampliar el chino para desarrollar el dialecto cantonés

El chino para China continental (mandarín) llegó a Galaxy AI con el lanzamiento de Galaxy S24 en enero de 2024. Pero el trabajo del Samsung R&D Institute China estaba lejos de terminar. Al equipo también se le asignó la tarea de desarrollar el modelo de IA para el chino en Hong Kong (cantonés), un dialecto que se sustentó en el trabajo ya realizado para el mandarín, pero que brinda un conjunto completamente nuevo de características lingüísticas para abordar.

Al desarrollar el cantonés, el equipo de Investigación y Desarrollo (I+D) de China enfrentó importantes desafíos culturales a los que necesitaba responder para respaldar plenamente su ubicación en el mercado. El primer fenómeno cultural son los dos conjuntos de sistemas de escritura y habla. Los habitantes de Hong Kong utilizan gramática y expresiones similares al mandarín cuando escriben, pero adoptan una gramática coloquial completamente diferente cuando se comunican a diario. Además, el cantonés tiene nueve tonos de pronunciación, mientras que el mandarín tiene cuatro.

Otro fenómeno cultural es que el propio dialecto cantonés se desarrolla con los tiempos. Agregando a eso el hecho de que las personas a menudo combinan cantonés e inglés en las conversaciones, lo que demuestra por qué fue complicado crear casos de prueba y validar paquetes de idiomas.

“El cantonés es un dialecto muy singular que varía en las distintas regiones donde se habla“, afirma Jing Li, que dirige la operación para probar la solución de IA en cantonés. “Algunas de las jergas, frases, palabras e incluso los tonos varían de un lugar a otro. Por lo tanto, llevamos a cabo una gran cantidad de trabajo para verificar los datos específicos de Hong Kong, también para corregir decenas de miles de casos de prueba relevantes”.

Con estas complejidades en mente, SRC-G y SRC-B trabajaron juntos para admitir una combinación de código profunda utilizando una mezcla de cantonés e inglés para el reconocimiento de voz, admitiendo simultáneamente expresiones habladas y escritas en traducción automática y reflejando pronunciaciones contemporáneas en síntesis de voz.

Impacto cultural de la comunicación

Cuando Galaxy AI lanzó la opción de idioma chino (Hong Kong), los comentarios de los usuarios mostraron que el arduo trabajo del equipo de I+D de Samsung estaba justificado.

Tanto para China continental como para Hong Kong, las actividades de Galaxy AI de Samsung muestran la importancia de que una marca global tenga presencia y experiencias locales, así como el poder de la colaboración abierta con otras organizaciones. En Hong Kong, el cantonés es una parte clave de la identidad cultural de quienes viven allí. Por eso era tan importante para el equipo acertar con el modelo de lenguaje de IA.

“El lenguaje y la comunicación son cruciales en todas las regiones y en todos los ámbitos de la vida“, afirma Henry Wat, jefe del grupo de ingeniería de Samsung Electronics Hong Kong. “No importa el idioma, cualquier herramienta que ayude a las personas a comunicarse es invaluable. Creo que nuestro trabajo es significativo”.

En el próximo episodio de The Learning Curve (La curva de aprendizaje), nos dirigiremos a Brasil para ver cómo un equipo trabaja más allá de culturas y fronteras para llevar Galaxy AI a más personas.

Samsung es pionera en experiencias premium de Inteligencia Artificial (IA) móvil. Para saber cómo Galaxy AI está maximizando el potencial de sus usuarios, visitamos los centros Samsung Research en todo el mundo. Galaxy AI, que ahora admite 16 idiomas, permite que más personas amplíen sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo con funciones como Live Translate, Interpreter, Note Assist y Browsing Assist. Recientemente, visitamos Jordania para conocer las complejidades que implica desarrollar un modelo de IA para el árabe, un idioma con muchos dialectos. Esta vez, vamos a Vietnam para explorar cómo se preparan los datos para entrenar modelos de IA.

¿Cuál es la diferencia entre fantasma, tumba y madre en vietnamita? Para una lengua hablada por 97 millones de personas en todo el mundo, es muy poco. Cada palabra se traduce como “ma”, “mả” y “má”, respectivamente, y solo se puede distinguir por el tono. Esto ilustra lo difícil que puede ser para los modelos de IA aprender un idioma, considerando que no pueden reconocer de primera mano el contexto y las emociones de las conversaciones ni las intenciones de quienes hablan.

El Instituto de Investigación y Desarrollo de Samsung (SRV) de Vietnam utilizó datos finamente refinados para ayudar a que su modelo de IA reconociera adecuadamente incluso las diferencias más sutiles en el lenguaje.

La calidad de los datos utilizados afecta directamente la precisión del reconocimiento automático de voz (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS), procesos que ayudan las funciones de Galaxy AI como Live Translate, Interpreter, Chat Assist y Browsing Assist a romper las barreras del idioma.

Un tifón de desafíos

“El vietnamita es un idioma complejo y diverso con expresiones ricas, muchas de las cuales son difíciles de capturar“, dice Ngô Hồng Thái, líder de NMT en SRV. De los 16 idiomas que admite Galaxy AI, el vietnamita fue particularmente difícil de desarrollar.

“En lo personal, ¡crear un modelo de IA para vietnamita fue más desafiante que nuestros tifones!“, añade antes de explicar los obstáculos enfrentados durante el proceso de desarrollo.

El vietnamita es un idioma tonal con seis tonos distintos. Como es evidente en el ejemplo anterior de “ma”, pequeños matices en la vocalización pueden alterar drásticamente el significado de las palabras. Por lo tanto, era necesario un enfoque meticuloso y detallado.

“Cuando se desglosan palabras que suenan similares, una palabra consta de varios segmentos cortos o ‘conjuntos de fragmentos’“, dice Bui Ngoc Tung, líder de ASR en SRV. “El modelo de IA diferencia entre fragmentos de audio cortos de alrededor de 20 milisegundos para reconocer qué palabras corresponden a un determinado conjunto de fragmentos consecutivos. Como tal, es fundamental poner un gran esfuerzo en las primeras etapas del proceso de aprendizaje de la IA”.

Además, los homófonos y los homónimos son comunes en vietnamita. Normalmente, las personas usan el contexto y los elementos no verbales en las conversaciones para diferenciar entre palabras que suenan o que se escriben igual, pero tienen significados diferentes. Sin embargo, es necesario enseñar a los modelos de IA a identificar y diferenciar con precisión entre tonos y palabras similares.

“Esta no es una tarea sencilla“, explica Thái. “Aparte de la cantidad, los datos deben ser precisos para garantizar que sean capaces de reconocer los matices lingüísticos que existen en vietnamita“.

Preparación rigurosa

El proceso de refinamiento de datos consta de tres pasos: primero se debe revisar y corregir el audio y el texto utilizados para entrenar el modelo de IA; luego este conjunto de datos pasa por controles aleatorios de calidad general; finalmente el conjunto de datos se normaliza y limpia antes de su uso en el entrenamiento.

“Realizamos minuciosamente una serie de pruebas para comprobar la precisión de nuestro conjunto de datos“, afirma Nguyen Manh Duy, líder de TTS en SRV, quien supervisa la creación de bases de datos. “Nos enfrentamos a una serie de problemas inesperados, como palabras mal escritas en los guiones y ruido de fondo o pronunciación incorrecta durante las grabaciones de audio. Dedicamos mucho tiempo a perfeccionar y mejorar nuestros datos de entrenamiento”.

El equipo de Ingeniería de Calidad del Software (SQE) desempeña un papel fundamental en el proceso de perfeccionamiento de los datos, y en el camino que lleva a los datos de IA de ser buenos a ser excelentes. Este equipo desempeña un papel importante en la comprobación y mejora de la calidad de los datos del lenguaje de IA, y colabora estrechamente con el equipo del proyecto de desarrollo del lenguaje de IA para conseguirlo.

Más allá de los desafíos lingüísticos únicos del vietnamita, existe una falta de datos universalmente accesibles en comparación con los idiomas más hablados. “Ésta es otra razón por la que la etapa de refinamiento de los datos es tan importante“, añade. “Como teníamos fuentes limitadas, cada dato tenía que ser totalmente confiable. No había margen de error”.

Además, el modelo de IA para vietnamita debe considerar diferencias de tono y regionales. Para mejorar la precisión del modelo de IA, el equipo recopiló grandes cantidades de datos con los acentos del norte, centro y sur de Vietnam, lo que resultó en una enorme cantidad de información para refinar y verificar.

Mejora continua

Los desarrolladores de SRV completaron el proyecto después de meses de arduo trabajo y el vietnamita se convirtió en uno de los primeros idiomas admitidos por Galaxy AI. A pesar de este éxito, el equipo trabaja incesantemente para mejorar la experiencia con el idioma.

“Seguimos mejorando el modelo de IA incorporando comentarios de los usuarios sobre la relevancia de las palabras y frases en Galaxy AI“, dice Tran Tuan Minh, líder del proyecto de desarrollo del lenguaje de IA en SRV. “Acabamos de dar nuestros primeros pasos hacia un mundo más abierto y tenemos mucho más que explorar juntos“.

En el próximo episodio de The Learning Curve, nos dirigiremos a China para profundizar en cómo se entrenan y ajustan los modelos de IA.

Enseñar un idioma a un modelo de IA es un proceso complejo, pero ¿y si no se trata de un idioma singular, sino de una recopilación de dialectos diferentes? Ese fue el reto al que se enfrentó el equipo de Samsung de Investigación y Desarrollo (I+D) Institute Jordan (SRJO). Aunque se añadió el “árabe” como opción de idioma para funciones de IA de Galaxy como Live Translate, el equipo tuvo que estudiar los distintos dialectos árabes que se extienden por Oriente Medio y el norte de África, cada uno de los cuales varía en pronunciación, vocabulario y gramática. 

El árabe es uno de los seis idiomas más hablados del mundo, utilizado a diario por más de 400 millones de personas [1]. El idioma se clasifica en dos formas: Fus’ha (árabe moderno estándar) y Ammiya (los dialectos del árabe). Fus’ha se utiliza normalmente en actos públicos y oficiales, así como en los informativos, mientras que Ammiya es más común en las conversaciones cotidianas. Más de 20 países utilizan el árabe y actualmente hay unos 30 dialectos en la región.  

Reglas no escritas 

El equipo del SRJO, consciente de las variantes que presentan estos dialectos, empleó una serie de técnicas para discernir y procesar los rasgos lingüísticos únicos, inherentes a cada uno de ellos. Este enfoque fue crucial para garantizar que Galaxy AI pudiera entender y responder de una forma que reflejara con precisión los matices regionales. 

“A diferencia de otros idiomas, la pronunciación del objeto en árabe varía en función del sujeto y el verbo de la frase“, explica Mohammad Hamdan, jefe de proyecto del equipo de desarrollo del idioma árabe. “Nuestro objetivo es desarrollar un modelo que entienda todos estos dialectos y pueda responder en árabe estándar“. 

TTS es el componente de la función Live Translate de Galaxy AI, que permite a los usuarios interactuar con personas de diferentes idiomas traduciendo palabras habladas a texto escrito y reproduciéndolas después por voz. El equipo de TTS se enfrentó a un reto único debido a una peculiaridad de trabajar con el árabe. 

El árabe utiliza diacríticos, que son guías para la pronunciación de las palabras en algunos contextos, como textos religiosos, poesía y libros para estudiantes de idiomas. Los diacríticos son ampliamente comprendidos por los hablantes nativos, pero están ausentes en la escritura cotidiana. Esto dificulta que una máquina convierta el texto en bruto en fonemas, las unidades básicas de sonido que forman el habla. 

“Faltan conjuntos de datos fiables y de alta calidad que representen con precisión el uso correcto de los diacríticos“, explica Haweeleh. “Teníamos que diseñar un modelo neuronal que pudiera predecir y restaurar esos diacríticos perdidos con gran precisión“. 

Los modelos neuronales funcionan de forma similar a los cerebros humanos. Para predecir los diacríticos, un modelo tiene que estudiar muchos textos árabes, aprender las reglas del idioma y entender cómo se usan las palabras en distintos contextos. Por ejemplo, la pronunciación de una palabra puede variar mucho según la acción o el género que describa. La exhaustiva capacitación del equipo fue la clave para mejorar la precisión del modelo TTS árabe. 

Mejorar la comprensión 

El equipo del SRJO también tuvo que recopilar distintas grabaciones de audio de los dialectos procedentes de varias fuentes, que hubo que transcribir, centrándose en los sonidos, palabras y frases únicos. “Reunimos a un equipo de nativos en los dialectos que conocían bien los matices y variantes“, dice Ayah Hasan, cuyo equipo se encargó de la creación de la base de datos. “Escuchaban las grabaciones y convertían manualmente las palabras habladas en texto“.  

Este trabajo fue fundamental para mejorar el proceso de reconocimiento automático del habla (ASR) de modo que Galaxy AI pudiera manejar la gran variedad de dialectos árabes. ASR es fundamental para que Galaxy AI pueda comprender y responder en tiempo real. 

“Construir un sistema ASR que admita varios dialectos en un único modelo es una empresa compleja“, afirma Mohammad Hamdan, responsable de ASR en el proyecto. “Exige un conocimiento profundo de las complejidades del idioma, una cuidadosa selección de datos y técnicas avanzadas de modelado“.  

La culminación de la innovación 

Tras meses de planificación, construcción y pruebas, el equipo estaba listo para lanzar el árabe como opción lingüística para Galaxy AI, lo que permitiría a muchas más personas comunicarse más allá de las fronteras. Este equipo único consiguió que los servicios de IA de Galaxy estén disponibles para los que hablan árabe, reduciendo las barreras lingüísticas y culturales entre ellos y las personas de todo el mundo. Al hacerlo, estableció nuevas buenas prácticas que se pueden extender a todo el mundo. Este éxito es sólo el principio: el equipo sigue perfeccionando sus modelos y mejorando la calidad de las capacidades lingüísticas de Galaxy AI. 

En el próximo episodio, iremos a Vietnam para ver cómo se mejoran los datos lingüísticos. Además, ¿qué se necesita para entrenar un modelo de IA eficaz?  

El árabe es uno de los idiomas y dialectos disponibles con Galaxy AI y que se pueden descargar desde la aplicación Ajustes. Las funciones lingüísticas de Galaxy AI, como Traducción Simultánea e Intérprete, están disponibles en los dispositivos Galaxy que cuentan con la actualización One UI 6.1 de Samsung[2].  

[1] UNESCO, Día Mundial de la Lengua Árabe 2023, https://www.unesco.org/en/world-arabic-language-day 

[2] One UI 6.1 se lanzó por primera vez en los dispositivos de la serie Galaxy S24 con un despliegue más amplio a otros dispositivos Galaxy incluyendo las series S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 y Tab S8. 

“Comprometidos con la democratización de la IA móvil para todos, la expansión lingüística de Galaxy AI este año permitirá que aún más usuarios de Galaxy se comuniquen más allá de las barreras lingüísticas, a un nivel que es completamente exclusivo de Samsung“, dijo TM Roh, Presidente y Jefe de Mobile eXperience Business en Samsung Electronics. “Continuaremos innovando nuestra tecnología y siendo pioneros en experiencias premium de IA móvil, para que aún más usuarios estén equipados con las herramientas adecuadas para liberar su potencial ilimitado.”  

Descripción de las funciones de Galaxy AI 

• Live Translate: genera traducciones bidireccionales de voz y texto en tiempo real durante llamadas telefónicas, por lo que es más fácil que nunca hacer reservaciones mientras se viaja o chatear con personas en su lengua materna. 
• Interpreter: puede traducir al instante conversaciones en tiempo real a través de una visualización en pantalla dividida fácil de usar, que permite a las personas que se encuentran frente a frente leer una traducción de texto de lo que está diciendo la otra persona. 
• Chat Assist: puede ayudar a mejorar el tono de la conversación generando sugerencias en función del contexto para garantizar que la comunicación suene como se pretendía, tanto si se trata de un mensaje cortés a un compañero de trabajo como de una frase breve y atractiva para un pie de foto en redes sociales.  
• Note Assist: puede crear resúmenes generados por IA, plantillas preformateadas y portadas, elevando la productividad diaria. 

• Transcript Assist: utiliza IA y tecnología de conversión de voz a texto para transcribir, resumir e incluso traducir grabaciones de voz.  
• Browsing Assist: ayuda a estar actualizado sobre lo que ocurre en el mundo a la vez que se ahorra tiempo generando resúmenes de artículos de noticias o páginas web.    

A partir de abril y a lo largo de los próximos meses, los nuevos idiomas y dialectos compatibles con Galaxy AI se podrán descargar como paquetes de idiomas desde la aplicación Ajustes.  

Para obtener más información sobre Galaxy AI, visitar: Samsung Newsroom o Samsung.com.
 

[1] Los idiomas compatibles son el alemán, chino, coreano, español (México, España, Estados Unidos), francés, hindi, inglés (India, Reino Unido, Estados Unidos), italiano, japonés, polaco, portugués (Brasil), tailandés y vietnamita.