Galaxy AI ahora admite 16 idiomas, por lo que más personas pueden ampliar sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo en funciones como Traducción simultánea, Interprete, Asistente de notas y Asistente de Navegación. Pero ¿qué implica el desarrollo del lenguaje de IA?

El rápido crecimiento de las herramientas de inteligencia artificial que utilizan grandes modelos de lenguaje (LLM) se ha observado en todo el mundo y China no es una excepción. Con ERNIE Bot de Baidu y MiracleVision de Meitu emergiendo como opciones populares en China, Samsung R&D Institute China se asoció con ambas compañías para ayudar a desarrollar funciones de Galaxy AI para el país.

El Samsung R&D Institute China en Guangzhou (SRC-G) y Beijing (SRC-B) trabajaron para garantizar que los hablantes de mandarín en China tengan la misma experiencia de Galaxy AI que otros usuarios en todo el mundo, a pesar de que la tecnología de back-end se vea diferente. El equipo aprovechó los recursos dedicados a dialectos chinos de socios externos y creó una solución Galaxy AI única para China.

“Tenemos la ventaja de combinar las mejores prácticas globales con las prácticas locales de China, además de crear nuevas características y mejorarlas constantemente a través de la comunicación diaria con los consumidores chinos. Con la rica experiencia en desarrollo del Galaxy S24, estoy orgulloso de cómo nuestro equipo cooperó con empresas locales de inteligencia artificial, como Baidu y Meitu, para brindar una solución que impacte en el país”, destaca Hairong Zhang, líder del grupo de innovación de software en SRC-G.

Al principio, los equipos tuvieron que adaptarse a los estilos de trabajo de cada uno y solucionar los problemas iniciales de asimetría de información. Daijun Zhang, director de SRC-B, estableció un grupo de trabajo para garantizar que el proyecto siguiera el cronograma de desarrollo y avanzara rápidamente hacia sus objetivos.

Gracias a la experiencia del equipo de Beijing en la generación de modelos a gran escala y la colaboración exitosa con socios externos, todas las funciones de IA generativa se lanzaron con éxito en China. El resultado es una solución que tiene relevancia local y características específicas para el mercado, como Tocar para buscar.

Ampliando el chino para desarrollar el dialecto cantonés

El mandarín llegó a Galaxy AI con el lanzamiento del Galaxy S24 en enero de 2024. Pero el trabajo del Samsung R&D Institute China estaba lejos de estar terminado. Al equipo también se le asignó la tarea de desarrollar el modelo de IA para el cantonés, un dialecto que se sustentó en el trabajo ya realizado para el mandarín, pero que aporta un conjunto completamente nuevo de características lingüísticas.

Al desarrollar el cantonés, el equipo de I+D de China enfrentó importantes desafíos culturales a los que necesitaba responder para poder respaldar plenamente su ubicación en el mercado. El primer fenómeno cultural hace referencia a los dos conjuntos de sistemas de escritura y habla. Los habitantes de Hong Kong utilizan gramática y expresiones similares al mandarín cuando escriben, pero adoptan una gramática coloquial completamente diferente cuando se comunican a diario. Además, el cantonés tiene nueve tonos de pronunciación, mientras que el mandarín tiene cuatro.

Otro fenómeno cultural es que el propio dialecto cantonés se desarrolla con los tiempos. Agregando a eso el hecho de que las personas a menudo combinan cantonés e inglés en las conversaciones, dejando claro por qué fue complicado crear casos de prueba y validar paquetes de idiomas.

“El cantonés es un dialecto muy singular que varía en las distintas regiones en donde se habla. Algunas de las jergas, frases, vocabulario e incluso los tonos varían de un lugar a otro. Por lo tanto, llevamos a cabo una gran cantidad de trabajo para verificar los datos específicos de Hong Kong, así como también para corregir decenas de miles de casos de prueba relevantes”, afirma Jing Li, que dirige la operación para probar la solución de IA en cantonés.

Con estas complejidades en mente, SRC-G y SRC-B trabajaron juntos para admitir una combinación de código profunda utilizando una combinación de cantonés e inglés para el reconocimiento de voz, admitiendo simultáneamente expresiones habladas y escritas en traducción automática y reflejando pronunciaciones actuales en síntesis de voz.

Impacto cultural de la comunicación

Cuando Galaxy AI lanzó la opción de idioma cantonés, los comentarios de los clientes mostraron que el arduo trabajo del equipo de I+D de Samsung estaba justificado.

Tanto para China continental (mandarín) como para Hong Kong (cantonés), las actividades de Galaxy AI de Samsung muestran la importancia de que una marca global tenga presencia y experiencias locales, así como el poder de la colaboración abierta con otras organizaciones. En Hong Kong, el cantonés es una parte clave de la identidad cultural de quienes viven allí. Por eso era tan importante para el equipo acertar con el modelo de lenguaje de IA.

“El lenguaje y la comunicación son cruciales en todas las regiones y en todos los ámbitos de la vida. No importa el idioma, cualquier herramienta que ayude a las personas a comunicarse es invaluable. Creo que nuestro trabajo es significativo”, afirma Henry Wat, jefe del grupo de ingeniería de Samsung Electronics Hong Kong.

Samsung es pionera en experiencias premium de IA móvil. Para saber cómo Galaxy AI está maximizando el potencial de los usuarios, la compañía abrió las puertas de los centros Samsung Research en el mundo. Galaxy AI, que está disponible para 16 idiomas, permite que más personas amplíen sus capacidades lingüísticas, incluso sin conexión, gracias a la traducción en el dispositivo con funciones como Traducción Simultánea, Intérprete, Asistente de Notas y Asistente de Navegación. Este centro de Investigación, ubicado en Vietnam, contará cómo se preparan los datos para entrenar modelos de IA.

¿Cuál es la diferencia entre fantasma, tumba y madre en vietnamita? Para una lengua hablada por 97 millones de personas en todo el mundo, es muy poco. Cada palabra se traduce como “ma”, “mả” y “má”, respectivamente, y solo se puede distinguir por el tono. Esto ilustra lo difícil que puede ser para los modelos de IA aprender un idioma, considerando que no pueden reconocer de primera mano el contexto y las emociones de las conversaciones ni las intenciones de quienes hablan.

El Instituto de Investigación y Desarrollo de Samsung (SRV) de Vietnam utilizó datos finamente refinados para ayudar a que su modelo de IA reconociera adecuadamente incluso las diferencias más sutiles en el lenguaje. La calidad de los datos utilizados afecta directamente la precisión del reconocimiento automático de voz (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS), procesos que ayudan las funciones de Galaxy AI como Traducción Simultánea, Intérprete, Asistente de Escritura y Asistente de Navegación a romper las barreras del idioma.

Un tifón de desafíos

“El vietnamita es un idioma complejo y diverso con expresiones ricas, muchas de las cuales son difíciles de capturar”, dice Ngô Hồng Thái, líder de NMT en SRV. De los 16 idiomas que admite Galaxy AI, el vietnamita fue particularmente difícil de desarrollar.

“Personalmente, ¡crear un modelo de IA para el vietnamita fue muy desafiante” añade antes de explicar los obstáculos enfrentados durante el proceso de desarrollo.

El vietnamita es un idioma tonal con seis tonos distintos. Como es evidente en el ejemplo anterior de “ma”, pequeños matices en la vocalización pueden alterar drásticamente el significado de las palabras. Por lo tanto, era necesario un enfoque meticuloso y detallado.

“Cuando se desglosan palabras que suenan similares, una palabra consta de varios segmentos cortos o ‘conjuntos de cuadros’. El modelo de IA diferencia entre cuadros de audio cortos de alrededor de 20 milisegundos para reconocer qué palabras corresponden a un determinado conjunto de cuadros consecutivos. Como tal, es fundamental poner un gran esfuerzo en las primeras etapas del proceso de aprendizaje de la IA”, dice Bui Ngoc Tung, líder de ASR en SRV.

Los homófonos y los homónimos son comunes en vietnamita. Normalmente, las personas pueden confiar en el contexto y los elementos no verbales en las conversaciones para diferenciar entre palabras que suenan o que se escriben igual, pero tienen significados diferentes. Sin embargo, es necesario enseñar a los modelos de IA a identificar y diferenciar con precisión entre tonos y palabras similares.

“Esta no es una tarea sencilla. Aparte de la cantidad, los datos deben ser precisos para garantizar que sean capaces de reconocer los matices lingüísticos que existen en vietnamita”, explica Thái.

Preparación rigurosa

El proceso de refinamiento de datos consta de tres pasos. Primero, se deben revisar y corregir el audio y el texto utilizados para entrenar el modelo de IA. Luego, este conjunto de datos pasa por controles aleatorios de calidad general. Finalmente, el conjunto de datos se normaliza y limpia antes de su uso en el entrenamiento.

“Realizamos minuciosamente una serie de pruebas para comprobar la precisión de nuestro conjunto de datos. Nos enfrentamos a una serie de problemas inesperados, como palabras mal escritas en los guiones y ruido de fondo o pronunciación incorrecta durante las grabaciones de audio. Dedicamos mucho tiempo a perfeccionar y mejorar nuestros datos de entrenamiento”, afirma Nguyen Manh Duy, líder de TTS en SRV, quien supervisa la creación de bases de datos.

Además de los desafíos lingüísticos únicos del vietnamita, existe una falta de datos universalmente accesibles en comparación con los idiomas más hablados. “Ésta es otra razón por la que la etapa de refinamiento de los datos es tan importante. Como teníamos fuentes limitadas, cada dato tenía que ser totalmente fiable. No había margen de error”, añade.

El modelo de IA para el vietnamita debe considerar diferencias tanto de tono como regionales. Para mejorar la precisión del modelo de IA, el equipo recopiló grandes cantidades de datos con los acentos del norte, centro y sur de Vietnam, lo que resultó en una enorme cantidad de información para refinar y verificar.

Mejora continua

Los desarrolladores de SRV completaron el proyecto después de meses de arduo trabajo y el vietnamita se convirtió en uno de los primeros idiomas admitidos por Galaxy AI. A pesar de este éxito, el equipo trabaja incesantemente para mejorar la experiencia con el idioma.

“Seguimos mejorando el modelo de IA incorporando comentarios de los usuarios sobre la relevancia de las palabras y frases en Galaxy AI. Acabamos de dar nuestros primeros pasos hacia un mundo más abierto y tenemos mucho más que explorar juntos”, dice Tran Tuan Minh, líder del proyecto de desarrollo del lenguaje de IA en SRV.