[Recopilación] La curva de aprendizaje: Cómo los Institutos de Investigación y Desarrollo de Samsung de todo el mundo trabajaron en Galaxy AI

Investigadores de Samsung de todo el mundo -Brasil, China, India, Indonesia, Japón, Jordania, Polonia y Vietnam- compartieron los retos y los triunfos del desarrollo de Galaxy AI. Este es un resumen de sus historias

Galaxy AI ya ha ayudado a millones de usuarios de todo el mundo a conectarse y comunicarse. Las funciones de inteligencia artificial del dispositivo basadas en grandes modelos lingüísticos (LLM), como Traducción simultánea, Intérprete, Asistente de notas y Browsing Assist (Asistente de navegación) — son compatibles con 16 idiomas, a los que se sumarán otros cuatro a finales de año.

El proceso de creación de funciones lingüísticas para Galaxy AI requirió mucho tiempo y esfuerzo, ya que cada idioma presenta una estructura y cultura únicas. Investigadores de Samsung de todo el mundo -Brasil, China, India, Indonesia, Japón, Jordania, Polonia y Vietnam- compartieron los retos y los triunfos del desarrollo de Galaxy AI. La Sala de Prensa de Samsung ha recopilado un resumen de sus historias a continuación.

Desarrollo de un modelo de traducción

Las funciones de Galaxy AI, como Live Translate, realizan tres procesos básicos: reconocimiento automático de voz (ASR), traducción automática neuronal (NMT) y conversión de texto a voz (TTS).

▲ El reconocimiento automático del habla (ASR), la traducción automática neuronal (NMT) y la conversión de texto a voz (TTS) requieren cada uno conjuntos distintos de información para el entrenamiento.

El Instituto de Investigación y Desarrollo de Samsung de Vietnam (SRV) se enfrentó a obstáculos con los modelos de reconocimiento automático del habla (ASR) porque el vietnamita es un idioma con seis tonos distintos. Los idiomas con tonos pueden ser difíciles de reconocer para la IA debido a la complejidad que los tonos añaden a los matices lingüísticos. SRV respondió al reto con un modelo que diferencia entre fotogramas de audio más cortos, de unos 20 milisegundos.

El Instituto de Investigación y Desarrollo de Samsung de Polonia (SRPOL) se enfrentó al gigantesco reto de entrenar modelos de traducción automática neural (NMT) para un continente tan variado como Europa. Aprovechando su amplia experiencia en proyectos que abarcan más de 30 idiomas en cuatro zonas horarias, SRPOL fue capaz de sortear la dificultad de traducir ciertas frases y manejar expresiones idiomáticas que pueden no tener equivalentes directos en otros idiomas.

El Instituto de Investigación y Desarrollo de Samsung de Jordania (SRJO) adaptó el árabe -una lengua hablada en más de 20 países en unos 30 dialectos- para Galaxy AI. Crear un modelo de texto a voz (TTS) no fue tarea fácil, ya que los diacríticos y las guías de pronunciación son ampliamente comprendidos por los hablantes nativos de árabe, pero están ausentes en la escritura. Basándose en un sofisticado modelo de predicción de los diacríticos ausentes, SRJO pudo publicar un modelo lingüístico que entiende los dialectos y puede responder en árabe estándar.

La importancia de los datos

A lo largo del proceso de capacitación de Galaxy AI en cada idioma, un tema general fue la importancia de una colaboración abierta con las instituciones locales. La calidad de los datos utilizados afecta directamente a la precisión del ASR, NMT y TTS. Por eso, Samsung trabajó con varios socios para obtener y revisar datos que reflejaran la jerga, los dialectos y otras variantes de cada región.

▲ Cada idioma tiene un conjunto distinto de cualidades que plantean desafíos a la hora de crear un modelo de lenguaje de IA para él. Los tonos aumentan la complejidad de los idiomas tonales, como el vietnamita.

El Instituto de Investigación y Desarrollo de Samsung en India-Bangalore (SRI-B) colaboró con el Instituto de Tecnología de Vellore para obtener casi un millón de líneas de datos de audio segmentados y procesados sobre conversaciones, palabras y comandos. Los estudiantes obtuvieron experiencia práctica en un proyecto de la vida real, así como la tutoría de expertos de Samsung; el rico almacén de datos ayudó a SRI-B a entrenar Galaxy AI en hindi, cubriendo más de 20 dialectos regionales y sus respectivas inflexiones de tono, puntuación y expresiones coloquiales.

Para el modelo del español latinoamericano era imprescindible contar con conocimientos lingüísticos locales, ya que la variedad del idioma se refleja en la diversidad de su base de usuarios. Por ejemplo, la palabra piscina puede ser alberca (México), piscina (Colombia, Bolivia, Venezuela) o pileta (Argentina, Paraguay, Uruguay) según la región de la que seas originario. El Instituto Samsung de Investigación y Desarrollo de Brasil (SRBR) trabajó con los institutos de ciencia y tecnología SiDi y Sidia para recopilar y gestionar cantidades masivas de datos, así como para perfeccionar y mejorar las fuentes de audio y texto para el modelo de español latinoamericano de Galaxy AI.

El Instituto Samsung de Investigación y Desarrollo de China-Pekín (SRC-B) y el Instituto de Investigación y Desarrollo Samsung China-Guangzhou (SRC-G) se asociaron con las empresas chinas Baidu y Meitu para aprovechar su experiencia en el desarrollo de grandes modelos lingüísticos (LLM) como ERNIE Bot y MiracleVision, respectivamente. Como resultado, Galaxy AI admite los dos modos principales de chino mandarín y cantonés.

Además de la cooperación externa, también fueron fundamentales la diligencia debida y los recursos internos.

El bahasa indonesio es un idioma famoso por su amplio uso de significados contextuales e implícitos que se basan en claves sociales y situacionales. Los investigadores del Instituto Samsung de Investigación y Desarrollo de Indonesia (SRIN) salieron al campo a grabar conversaciones en cafeterías y entornos de trabajo para captar ruidos ambientales auténticos que pudieran distorsionar la entrada de datos. Esto ayudó al modelo a aprender a reconocer la información necesaria a partir de la entrada verbal, mejorando en última instancia la precisión del reconocimiento del habla.

En el japonés hay muchos homónimos, ya que el número de sonidos es limitado. Por lo tanto, muchas palabras se deben determinar en función del contexto. El Instituto Samsung de Investigación y Desarrollo de Japón (SRJ) utilizó Samsung Gauss, el LLM interno de la empresa, estructura oraciones contextuales con palabras o frases relevantes para cada escenario para ayudar al modelo de IA a diferenciar entre homónimos.

Red mundial de investigación de Samsung

Los profesionales de varios institutos de Investigación y Desarrollo de Samsung aprovecharon al máximo la red mundial de investigación de Samsung.

Antes de abordar el hindi, SRI-B colaboró con equipos de todo el mundo para desarrollar modelos lingüísticos de IA para el inglés británico, indio y australiano, así como para el tailandés, el vietnamita y el indonesio. Ingenieros de otros centros de investigación de Samsung visitaron Bangalore (India) para llevar el vietnamita, el tailandés y el indonesio a Galaxy AI.

▲ Personal y colaboradores del Instituto de Investigación y Desarrollo de Samsung en India-Bangalore (SRI-B)

SRPOL tenía una amplia experiencia en el desarrollo de modelos ASR, NMT y TTS para una gran variedad de idiomas. SRPOL, protagonista clave en la expansión lingüística de Galaxy AI, colaboró en todos los continentes para apoyar SRJO con dialectos árabes y SRBR con portugués brasileño y español latinoamericano.

Los desarrolladores de Samsung en cada uno de estos lugares aprendieron a colaborar a través de fronteras y husos horarios. Los desarrolladores de SRIN incluso observaron las costumbres locales de ayuno en la India cuando se reunieron con sus colegas de SRI-B. Muchos reflexionaron sobre su trabajo con orgullo y gratitud, dándose cuenta de las consecuencias duraderas que este proyecto tiene en el idioma, la cultura, el patrimonio y la identidad.

Esfuerzos continuos a medida que avanza el proceso

Recientemente Samsung presentó Galaxy AI en sus últimos dispositivos plegables y portátiles. Desde su lanzamiento a principios de este año, Galaxy AI ya se ha utilizado en más de 100 millones de dispositivos. “Esperamos alcanzar los 200 millones de dispositivos a finales de 2024”, declaró Won-joon Choi, Vicepresidente Ejecutivo y Director de la Oficina de Investigación y Desarrollo de Móviles, Mobile eXperience Business de Samsung Electronics, en un reciente debate.

En medio de esta misión de democratizar la IA, es importante mirar atrás y celebrar los logros y avances que han llevado a proporcionar esta tecnología segura e inclusiva que beneficiará a la humanidad y mejorará vidas. Al construir el ecosistema Galaxy AI con aún más funciones, idiomas y variantes regionales, Samsung está facilitando los intercambios interculturales de manera sin precedentes para hacer realidad su visión de IA para Todos.