Samsung es pionera en experiencias premium de Inteligencia Artificial (IA) móvil. Para saber cómo Galaxy AI está maximizando el potencial de sus usuarios, visitamos los centros Samsung Research en todo el mundo. Galaxy AI, que ahora admite 16 idiomas, permite que más personas amplíen sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo con funciones como Live Translate, Interpreter, Note Assist y Browsing Assist. Recientemente, visitamos Jordania para conocer las complejidades que implica desarrollar un modelo de IA para el árabe, un idioma con muchos dialectos. Esta vez, vamos a Vietnam para explorar cómo se preparan los datos para entrenar modelos de IA.

¿Cuál es la diferencia entre fantasma, tumba y madre en vietnamita? Para una lengua hablada por 97 millones de personas en todo el mundo, es muy poco. Cada palabra se traduce como “ma”, “mả” y “má”, respectivamente, y solo se puede distinguir por el tono. Esto ilustra lo difícil que puede ser para los modelos de IA aprender un idioma, considerando que no pueden reconocer de primera mano el contexto y las emociones de las conversaciones ni las intenciones de quienes hablan.

El Instituto de Investigación y Desarrollo de Samsung (SRV) de Vietnam utilizó datos finamente refinados para ayudar a que su modelo de IA reconociera adecuadamente incluso las diferencias más sutiles en el lenguaje.

La calidad de los datos utilizados afecta directamente la precisión del reconocimiento automático de voz (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS), procesos que ayudan las funciones de Galaxy AI como Live Translate, Interpreter, Chat Assist y Browsing Assist a romper las barreras del idioma.

Un tifón de desafíos

“El vietnamita es un idioma complejo y diverso con expresiones ricas, muchas de las cuales son difíciles de capturar“, dice Ngô Hồng Thái, líder de NMT en SRV. De los 16 idiomas que admite Galaxy AI, el vietnamita fue particularmente difícil de desarrollar.

“En lo personal, ¡crear un modelo de IA para vietnamita fue más desafiante que nuestros tifones!“, añade antes de explicar los obstáculos enfrentados durante el proceso de desarrollo.

El vietnamita es un idioma tonal con seis tonos distintos. Como es evidente en el ejemplo anterior de “ma”, pequeños matices en la vocalización pueden alterar drásticamente el significado de las palabras. Por lo tanto, era necesario un enfoque meticuloso y detallado.

“Cuando se desglosan palabras que suenan similares, una palabra consta de varios segmentos cortos o ‘conjuntos de fragmentos’“, dice Bui Ngoc Tung, líder de ASR en SRV. “El modelo de IA diferencia entre fragmentos de audio cortos de alrededor de 20 milisegundos para reconocer qué palabras corresponden a un determinado conjunto de fragmentos consecutivos. Como tal, es fundamental poner un gran esfuerzo en las primeras etapas del proceso de aprendizaje de la IA”.

Además, los homófonos y los homónimos son comunes en vietnamita. Normalmente, las personas usan el contexto y los elementos no verbales en las conversaciones para diferenciar entre palabras que suenan o que se escriben igual, pero tienen significados diferentes. Sin embargo, es necesario enseñar a los modelos de IA a identificar y diferenciar con precisión entre tonos y palabras similares.

“Esta no es una tarea sencilla“, explica Thái. “Aparte de la cantidad, los datos deben ser precisos para garantizar que sean capaces de reconocer los matices lingüísticos que existen en vietnamita“.

Preparación rigurosa

El proceso de refinamiento de datos consta de tres pasos: primero se debe revisar y corregir el audio y el texto utilizados para entrenar el modelo de IA; luego este conjunto de datos pasa por controles aleatorios de calidad general; finalmente el conjunto de datos se normaliza y limpia antes de su uso en el entrenamiento.

“Realizamos minuciosamente una serie de pruebas para comprobar la precisión de nuestro conjunto de datos“, afirma Nguyen Manh Duy, líder de TTS en SRV, quien supervisa la creación de bases de datos. “Nos enfrentamos a una serie de problemas inesperados, como palabras mal escritas en los guiones y ruido de fondo o pronunciación incorrecta durante las grabaciones de audio. Dedicamos mucho tiempo a perfeccionar y mejorar nuestros datos de entrenamiento”.

El equipo de Ingeniería de Calidad del Software (SQE) desempeña un papel fundamental en el proceso de perfeccionamiento de los datos, y en el camino que lleva a los datos de IA de ser buenos a ser excelentes. Este equipo desempeña un papel importante en la comprobación y mejora de la calidad de los datos del lenguaje de IA, y colabora estrechamente con el equipo del proyecto de desarrollo del lenguaje de IA para conseguirlo.

Más allá de los desafíos lingüísticos únicos del vietnamita, existe una falta de datos universalmente accesibles en comparación con los idiomas más hablados. “Ésta es otra razón por la que la etapa de refinamiento de los datos es tan importante“, añade. “Como teníamos fuentes limitadas, cada dato tenía que ser totalmente confiable. No había margen de error”.

Además, el modelo de IA para vietnamita debe considerar diferencias de tono y regionales. Para mejorar la precisión del modelo de IA, el equipo recopiló grandes cantidades de datos con los acentos del norte, centro y sur de Vietnam, lo que resultó en una enorme cantidad de información para refinar y verificar.

Mejora continua

Los desarrolladores de SRV completaron el proyecto después de meses de arduo trabajo y el vietnamita se convirtió en uno de los primeros idiomas admitidos por Galaxy AI. A pesar de este éxito, el equipo trabaja incesantemente para mejorar la experiencia con el idioma.

“Seguimos mejorando el modelo de IA incorporando comentarios de los usuarios sobre la relevancia de las palabras y frases en Galaxy AI“, dice Tran Tuan Minh, líder del proyecto de desarrollo del lenguaje de IA en SRV. “Acabamos de dar nuestros primeros pasos hacia un mundo más abierto y tenemos mucho más que explorar juntos“.

En el próximo episodio de The Learning Curve, nos dirigiremos a China para profundizar en cómo se entrenan y ajustan los modelos de IA.

Enseñar un idioma a un modelo de IA es un proceso complejo, pero ¿y si no se trata de un idioma singular, sino de una recopilación de dialectos diferentes? Ese fue el reto al que se enfrentó el equipo de Samsung de Investigación y Desarrollo (I+D) Institute Jordan (SRJO). Aunque se añadió el “árabe” como opción de idioma para funciones de IA de Galaxy como Live Translate, el equipo tuvo que estudiar los distintos dialectos árabes que se extienden por Oriente Medio y el norte de África, cada uno de los cuales varía en pronunciación, vocabulario y gramática. 

El árabe es uno de los seis idiomas más hablados del mundo, utilizado a diario por más de 400 millones de personas [1]. El idioma se clasifica en dos formas: Fus’ha (árabe moderno estándar) y Ammiya (los dialectos del árabe). Fus’ha se utiliza normalmente en actos públicos y oficiales, así como en los informativos, mientras que Ammiya es más común en las conversaciones cotidianas. Más de 20 países utilizan el árabe y actualmente hay unos 30 dialectos en la región.  

Reglas no escritas 

El equipo del SRJO, consciente de las variantes que presentan estos dialectos, empleó una serie de técnicas para discernir y procesar los rasgos lingüísticos únicos, inherentes a cada uno de ellos. Este enfoque fue crucial para garantizar que Galaxy AI pudiera entender y responder de una forma que reflejara con precisión los matices regionales. 

“A diferencia de otros idiomas, la pronunciación del objeto en árabe varía en función del sujeto y el verbo de la frase“, explica Mohammad Hamdan, jefe de proyecto del equipo de desarrollo del idioma árabe. “Nuestro objetivo es desarrollar un modelo que entienda todos estos dialectos y pueda responder en árabe estándar“. 

TTS es el componente de la función Live Translate de Galaxy AI, que permite a los usuarios interactuar con personas de diferentes idiomas traduciendo palabras habladas a texto escrito y reproduciéndolas después por voz. El equipo de TTS se enfrentó a un reto único debido a una peculiaridad de trabajar con el árabe. 

El árabe utiliza diacríticos, que son guías para la pronunciación de las palabras en algunos contextos, como textos religiosos, poesía y libros para estudiantes de idiomas. Los diacríticos son ampliamente comprendidos por los hablantes nativos, pero están ausentes en la escritura cotidiana. Esto dificulta que una máquina convierta el texto en bruto en fonemas, las unidades básicas de sonido que forman el habla. 

“Faltan conjuntos de datos fiables y de alta calidad que representen con precisión el uso correcto de los diacríticos“, explica Haweeleh. “Teníamos que diseñar un modelo neuronal que pudiera predecir y restaurar esos diacríticos perdidos con gran precisión“. 

Los modelos neuronales funcionan de forma similar a los cerebros humanos. Para predecir los diacríticos, un modelo tiene que estudiar muchos textos árabes, aprender las reglas del idioma y entender cómo se usan las palabras en distintos contextos. Por ejemplo, la pronunciación de una palabra puede variar mucho según la acción o el género que describa. La exhaustiva capacitación del equipo fue la clave para mejorar la precisión del modelo TTS árabe. 

Mejorar la comprensión 

El equipo del SRJO también tuvo que recopilar distintas grabaciones de audio de los dialectos procedentes de varias fuentes, que hubo que transcribir, centrándose en los sonidos, palabras y frases únicos. “Reunimos a un equipo de nativos en los dialectos que conocían bien los matices y variantes“, dice Ayah Hasan, cuyo equipo se encargó de la creación de la base de datos. “Escuchaban las grabaciones y convertían manualmente las palabras habladas en texto“.  

Este trabajo fue fundamental para mejorar el proceso de reconocimiento automático del habla (ASR) de modo que Galaxy AI pudiera manejar la gran variedad de dialectos árabes. ASR es fundamental para que Galaxy AI pueda comprender y responder en tiempo real. 

“Construir un sistema ASR que admita varios dialectos en un único modelo es una empresa compleja“, afirma Mohammad Hamdan, responsable de ASR en el proyecto. “Exige un conocimiento profundo de las complejidades del idioma, una cuidadosa selección de datos y técnicas avanzadas de modelado“.  

La culminación de la innovación 

Tras meses de planificación, construcción y pruebas, el equipo estaba listo para lanzar el árabe como opción lingüística para Galaxy AI, lo que permitiría a muchas más personas comunicarse más allá de las fronteras. Este equipo único consiguió que los servicios de IA de Galaxy estén disponibles para los que hablan árabe, reduciendo las barreras lingüísticas y culturales entre ellos y las personas de todo el mundo. Al hacerlo, estableció nuevas buenas prácticas que se pueden extender a todo el mundo. Este éxito es sólo el principio: el equipo sigue perfeccionando sus modelos y mejorando la calidad de las capacidades lingüísticas de Galaxy AI. 

En el próximo episodio, iremos a Vietnam para ver cómo se mejoran los datos lingüísticos. Además, ¿qué se necesita para entrenar un modelo de IA eficaz?  

El árabe es uno de los idiomas y dialectos disponibles con Galaxy AI y que se pueden descargar desde la aplicación Ajustes. Las funciones lingüísticas de Galaxy AI, como Traducción Simultánea e Intérprete, están disponibles en los dispositivos Galaxy que cuentan con la actualización One UI 6.1 de Samsung[2].  

[1] UNESCO, Día Mundial de la Lengua Árabe 2023, https://www.unesco.org/en/world-arabic-language-day 

[2] One UI 6.1 se lanzó por primera vez en los dispositivos de la serie Galaxy S24 con un despliegue más amplio a otros dispositivos Galaxy incluyendo las series S23, S23 FE, S22, S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, Tab S9 y Tab S8. 

A medida que Samsung continúa siendo pionera en experiencias móviles de inteligencia artificial de primera calidad, visitamos los centros de investigación de Samsung en todo el mundo para aprender cómo Galaxy AI está permitiendo que más usuarios maximicen su potencial. Ahora, Galaxy AI es compatible con 16 idiomas, permitiendo que más personas puedan expandir sus capacidades lingüísticas, incluso sin conexión, gracias a las funciones de traducción en el dispositivo como Live Translate, Interpreter, Note Assist y Browsing Assist. ¿Pero en qué consiste el desarrollo del lenguaje de la IA? Esta serie examina los desafíos de trabajar con IA móvil y cómo los superamos. Para empezar, nos dirigimos a Indonesia para aprender dónde se comienza  a enseñar a la IA a hablar un nuevo idioma.

Según el equipo de Samsung R&D Institute Indonesia (SRIN), el primer paso es establecer objetivos, “Una gran IA comienza con datos de buena calidad y relevantes. Cada idioma exige una manera diferente de procesar esto, por lo que nos adentramos a comprender las necesidades lingüísticas y las condiciones únicas de nuestro país“, dice Junaidillah Fadlil, Head de IA en SRIN, cuyo equipo recientemente agregó soporte para Bahasa Indonesia (idioma indonesio) a Galaxy AI. “El desarrollo de idiomas locales debe estar liderado por datos y la ciencia, por lo que cada proceso para agregar idiomas a Galaxy AI comienza con nosotros planificando qué información necesitamos y podemos obtener legal y éticamente“.

Las características de Galaxy AI, como Live Translate, realizan tres procesos principales: reconocimiento automático de voz (ASR, por su sigla en inglés), traducción automática neuronal (NMT, su sigla en inglés) y texto a voz (TTS, su sigla en inglés). Cada proceso necesita un conjunto distinto de información.

ASR, por ejemplo, necesita grabaciones extensas de voz en numerosos entornos, cada una de ellas acompañada de una transcripción precisa del texto. Los diferentes niveles de ruido de fondo ayudan para tener en cuenta los diferentes entornos. “No basta con añadir ruidos a las grabaciones“, explica Muchlisin Adi Saputra, Head de ASR del equipo. “Además de los datos lingüísticos que obtuvimos de los socios autorizados de terceros, debemos salir a cafeterías o entornos de trabajo para grabar nuestras voces. Esto nos permite capturar de forma auténtica sonidos únicos de la vida real, como las voces de la gente o el ruido de los teclados“.

También hay que tener en cuenta la naturaleza siempre cambiante de los idiomas. Saputra añade: “Tenemos que estar al día de el argot más reciente y de cómo se utiliza, ¡y la mayoría de las veces la encontramos en las redes sociales!”.

A continuación, NMT requiere datos de entrenamiento de traducción. “Traducir el bahasa indonesio es todo un reto“, afirma Muhamad Faisal, líder del equipo de NMT. “Su uso extensivo de significados contextuales e implícitos se basa en señales sociales y situacionales, por lo que necesitamos numerosos textos traducidos a los que la IA pueda hacer referencia para nuevas palabras, palabras extranjeras, nombres propios y modismos, cualquier información que ayude a la IA a comprender el contexto y las reglas de comunicación“.

Luego, TTS requiere grabaciones que abarquen una variedad de voces y tonos, con un contexto adicional sobre cómo suenan partes de palabras en diferentes circunstancias. “Buenas grabaciones de voz podrían hacer la mitad del trabajo y cubrir todos los fonemas requeridos (unidades de sonido en el habla) para el modelo de IA“, agrega Harits Abdurrohman, líder de TTS. “Si un actor de voz hizo un gran trabajo en la fase anterior, el enfoque se desplaza hacia el perfeccionamiento del modelo de IA para pronunciar claramente palabras específicas“.

Juntos somos más fuertes

Se necesitan diversos recursos para planificar tantos datos, y el SRIN trabajó en estrecha colaboración con expertos en lingüística. “Este desafío requiere creatividad, ingenio y experiencia tanto en Bahasa Indonesia como en aprendizaje automático“, reflexiona Fadlil. “La filosofía de colaboración abierta de Samsung jugó un papel importante en lograr que se hiciera el trabajo, al igual que nuestra escala de operaciones y nuestra historia en el desarrollo de IA“.

Trabajando con otros centros de investigación de Samsung en todo el mundo, el equipo del SRIN pudo adoptar rápidamente las mejores prácticas y superar las complejidades de establecer objetivos de data. Además, la colaboración fue contribuyó para avanzar no solo en tecnología, también en cultura. Cuando el equipo del SRIN se unió a sus contrapartes en Bangalore, India, observaron las costumbres locales de ayuno, creando conexiones más profundas y expandiendo su comprensión de diferentes culturas.

Para el equipo, el proyecto de expansión del lenguaje de Galaxy AI adquirió un nuevo significado. “Estamos especialmente orgullosos de nuestros logros aquí, ya que este fue nuestro primer proyecto de IA, y no será el último mientras continuemos refinando nuestros modelos y mejorando la calidad de los resultados“, concluye Fadlil. “Esta expansión no solo refleja nuestros valores de apertura, sino que también respeta e incorpora nuestras identidades culturales a través del lenguaje“.

En el próximo episodio de The Learning Curve, nos dirigiremos al R&D Institute Jordan para hablar con el equipo que dirigió el proyecto de idioma árabe de Galaxy AI. Conéctate para conocer las complejidades de crear y entrenar un modelo de IA para un idioma con diversos dialectos.