A diferencia de los sistemas basados en servidor, los entornos en el dispositivo operan bajo estrictas restricciones de memoria y computación. Como resultado, reducir el tamaño del modelo de IA y maximizar la eficiencia del tiempo de ejecución son esenciales. Para abordar este desafío, el Centro de IA de Samsung Research está liderando el trabajo en tecnologías centrales, desde la compresión de modelos y la optimización de software en tiempo de ejecución hasta el desarrollo de nuevas arquitecturas.

Samsung Newsroom se sentó con el Dr. MyungJoo Ham, Master en el AI Center, Samsung Research, para discutir el futuro de la IA en el dispositivo y las tecnologías de optimización que la hacen posible.

▲ Dr. MyungJoo Ham

El primer paso hacia la IA en el dispositivo

En el corazón de la IA generativa —que interpreta el lenguaje del usuario y produce respuestas naturales— se encuentran los grandes modelos de lenguaje (Large Language Models – LLMs). El primer paso para habilitar la IA en el dispositivo es comprimir y optimizar estos modelos masivos para que se ejecuten sin problemas en dispositivos como smartphones.

“Ejecutar un modelo altamente avanzado que realiza miles de millones de cálculos directamente en un smartphone o laptop agotaría rápidamente la batería, aumentaría el calor y ralentizaría los tiempos de respuesta, degradando notablemente la experiencia del usuario”, dijo el Dr. Ham. “La tecnología de compresión de modelos surgió para abordar estos problemas”.

Los LLMs realizan cálculos utilizando representaciones numéricas extremadamente complejas. La compresión de modelos simplifica estos valores en formatos enteros más eficientes a través de un proceso llamado cuantificación. “Es como comprimir una foto de alta resolución para que el tamaño del archivo se reduzca, pero la calidad visual permanezca casi igual”, explicó. “Por ejemplo, convertir cálculos de punto flotante de 32 bits a enteros de 8 bits o incluso 4 bits reduce significativamente el uso de memoria y la carga computacional, acelerando los tiempos de respuesta”.

▲ La compresión del modelo cuantifica los pesos del modelo para reducir el tamaño, aumentar la velocidad de procesamiento y mantener el rendimiento.

Una caída en la precisión numérica durante la cuantificación puede reducir la precisión general de un modelo. Para equilibrar la velocidad y la calidad del modelo, Samsung Research está desarrollando algoritmos y herramientas que miden y calibran de cerca el rendimiento después de la compresión.

“El objetivo de la compresión de modelos no es solo hacer que el modelo sea más pequeño, sino mantenerlo rápido y preciso”, dijo el Dr. Ham. “Utilizando algoritmos de optimización, analizamos la función de pérdida del modelo durante la compresión y lo reentrenamos hasta que sus salidas se mantengan cerca de las originales, suavizando las áreas con grandes errores. Debido a que cada peso del modelo tiene un nivel diferente de importancia, preservamos los pesos críticos con mayor precisión mientras comprimimos los menos importantes de manera más agresiva. Este enfoque maximiza la eficiencia sin comprometer la precisión”.

Además de desarrollar tecnología de compresión de modelos en la etapa de prototipo, Samsung Research la adapta y comercializa para productos del mundo real como smartphones y electrodomésticos. “Debido a que cada modelo de dispositivo tiene su propia arquitectura de memoria y perfil de computación, un enfoque general no puede ofrecer un rendimiento de IA a nivel de nube”, dijo. “A través de la investigación impulsada por productos, estamos diseñando nuestros propios algoritmos de compresión para mejorar las experiencias de IA que los usuarios pueden sentir directamente en sus manos”.

El motor oculto que impulsa el rendimiento de la IA

Incluso con un modelo bien comprimido, la experiencia del usuario depende en última instancia de cómo se ejecuta en el dispositivo. Samsung Research está desarrollando un motor de tiempo de ejecución de IA (AI runtime engine) que optimiza cómo se utilizan la memoria y los recursos de computación de un dispositivo durante la ejecución.

“El tiempo de ejecución de IA es esencialmente la unidad de control del motor del modelo“, dijo el Dr. Ham. “Cuando un modelo se ejecuta en múltiples procesadores, como la unidad central de procesamiento (CPU), la unidad de procesamiento de gráficos (GPU) y la unidad de procesamiento neuronal (NPU), el tiempo de ejecución asigna automáticamente cada operación al chip óptimo y minimiza el acceso a la memoria para aumentar el rendimiento general de la IA”.

El tiempo de ejecución de IA también permite que modelos más grandes y sofisticados se ejecuten a la misma velocidad en el mismo dispositivo. Esto no solo reduce la latencia de respuesta, sino que también mejora la calidad general de la IA, ofreciendo resultados más precisos, conversaciones más fluidas y un procesamiento de imágenes más refinado.

“Los mayores cuellos de botella en la IA en el dispositivo son el ancho de banda de la memoria y la velocidad de acceso al almacenamiento”, dijo. “Estamos desarrollando técnicas de optimización que equilibran inteligentemente la memoria y la computación”. Por ejemplo, cargar solo los datos necesarios en un momento dado, en lugar de mantener todo en la memoria, mejora la eficiencia. “Samsung Research ahora tiene la capacidad de ejecutar un modelo generativo de 30 mil millones de parámetros —típicamente de más de 16 GB de tamaño— en menos de 3 GB de memoria”, agregó.

▲ El software de ejecución de IA predice cuándo se realizan los cálculos de peso para minimizar el uso de memoria y aumentar la velocidad de procesamiento.

La próxima generación de arquitecturas de modelos de IA

La investigación sobre arquitecturas de modelos de IA, los planos fundamentales de los sistemas de IA, también está muy avanzada.

“Debido a que los entornos en el dispositivo tienen memoria y recursos de computación limitados, necesitamos rediseñar las estructuras de los modelos para que se ejecuten de manera eficiente en el hardware”, dijo el Dr. Ham. “Nuestra investigación de arquitectura se centra en la creación de modelos que maximicen la eficiencia del hardware”. En resumen, el objetivo es construir arquitecturas amigables con el dispositivo desde cero para garantizar que el modelo y el hardware del dispositivo trabajen en armonía desde el principio.

Entrenar LLMs requiere mucho tiempo y costo, y una estructura de modelo mal diseñada puede elevar esos costos aún más. Para minimizar las ineficiencias, Samsung Research evalúa el rendimiento del hardware con anticipación y diseña arquitecturas optimizadas antes de que comience el entrenamiento. “En la era de la IA en el dispositivo, la clave de la ventaja competitiva es cuánta eficiencia se puede extraer de los mismos recursos de hardware”, dijo. “Nuestro objetivo es alcanzar el nivel más alto de inteligencia dentro del chip más pequeño posible: esa es la dirección técnica que estamos siguiendo”.

Hoy en día, la mayoría de los LLMs se basan en la arquitectura transformer. Los transformers analizan una oración completa a la vez para determinar las relaciones entre las palabras, un método que sobresale en la comprensión del contexto, pero tiene una limitación clave: las demandas computacionales aumentan drásticamente a medida que las oraciones se vuelven más largas. “Estamos explorando una amplia gama de enfoques para superar estas restricciones, evaluando cada uno en función de cuán eficientemente puede operar en entornos de dispositivos reales”, explicó el Dr. Ham. “Estamos enfocados no solo en mejorar los métodos existentes, sino en desarrollar la próxima generación de arquitecturas construidas sobre metodologías completamente nuevas”.

▲ La investigación de optimización de la arquitectura transfiere conocimiento de un modelo grande a uno más pequeño, mejorando la eficiencia computacional y manteniendo el rendimiento.

El camino a seguir para la IA en el dispositivo

¿Cuál es el desafío más crítico para el futuro de la IA en el dispositivo? “Lograr un rendimiento a nivel de nube directamente en el dispositivo”, dijo el Dr. Ham. Para hacer esto posible, la optimización del modelo y la eficiencia del hardware trabajan en estrecha colaboración para ofrecer IA rápida y precisa, incluso sin una conexión de red. “Mejorar la velocidad, la precisión y la eficiencia energética al mismo tiempo será aún más importante”, agregó.

Los avances en la IA en el dispositivo están permitiendo a los usuarios disfrutar de experiencias de IA rápidas, seguras y altamente personalizadas, en cualquier momento y lugar. “La IA mejorará en el aprendizaje en tiempo real en el dispositivo y en la adaptación al entorno de cada usuario”, dijo el Dr. Ham. “El futuro radica en ofrecer servicios naturales e individualizados al mismo tiempo que se salvaguarda la privacidad de los datos”.

Samsung está ampliando los límites para ofrecer experiencias más avanzadas impulsadas por la IA en el dispositivo optimizada. A través de estos esfuerzos, la compañía tiene como objetivo proporcionar experiencias de usuario aún más notables y fluidas.

Samsung Electronics organizó la Samsung Developer Conference Korea 2024 (SDC24 Korea), un evento virtual que mostró las últimas innovaciones de software de la compañía y su visión para el futuro.

Desde el año 2014, Samsung ha celebrado este evento anual para involucrar y colaborar con desarrolladores de software, siendo SDC24 Korea la 11ª edición. La conferencia de este año destacó la investigación relacionada con el software integrado en productos como IA generativa, plataformas de software, IoT, atención médica, comunicaciones y datos. También profundizó en la cultura del desarrollo de código abierto.

Durante el discurso de apertura, se presentó Samsung Gauss2, la segunda generación del modelo de inteligencia artificial patentado, y se destacó su rendimiento mejorado, eficiencia y diversas posibilidades de aplicación.

“En Samsung Electronics estamos comprometidos con el desarrollo de software de vanguardia, incluyendo IA y análisis de datos, para mejorar la experiencia del usuario” afirmó Paul Kyungwhoon Cheun, presidente y director de tecnología de la División Device eXperience (DX) y director de Samsung Research. “Con tres modelos distintos, Samsung Gauss2 ya está impulsando nuestra productividad interna y planeamos integrarlo en productos para ofrecer mayores niveles de conveniencia y personalización”.

Samsung Gauss2: Un modelo de lenguaje multimodal que atiende diversas necesidades

Samsung Gauss2 es la evolución del modelo interno de IA generativa de Samsung presentado el año pasado, que ofrece un mejor rendimiento y eficiencia al manejar simultáneamente diferentes tipos de datos como modelo multimodal que integra lenguaje, código e imágenes. Está disponible en tres modelos distintos según su propósito: Compact, Balanced y Supreme.

El modelo Compact es un modelo de tamaño reducido diseñado para funcionar eficientemente incluso en entornos informáticos limitados. Ofrece un rendimiento optimizado para su uso en el dispositivo maximizando la utilización de los recursos informáticos del mismo.

El modelo Balanced se centra en lograr un equilibrio entre rendimiento, velocidad y eficiencia, ofreciendo resultados consistentes en múltiples tareas.

El modelo Supreme, basado en la tecnología Mixture of Experts[1], reduce significativamente los costos computacionales durante los procesos de entrenamiento e inferencia mientras se mantienen altos niveles de rendimiento y eficiencia.

Samsung Gauss2 admite entre 9 y 14 idiomas, así como varios lenguajes de programación, según el modelo  e incorpora sus propias técnicas de estabilización para entrenar modelos de lenguaje grandes (LLM) y ha diseñado un tokenizador personalizado[2] para garantizar la máxima eficiencia para estos idiomas admitidos.

Los modelos Balanced y Supreme ofrecen un rendimiento igual o superior en métricas clave, como la generación de respuestas en varios idiomas, incluidos inglés y coreano, y capacidades de codificación en comparación con los principales modelos de IA generativa de código abierto actualmente disponibles. Además, su velocidad de procesamiento por hora es de 1,5 a 3 veces más rápida, lo que permite una generación de respuestas de IA aún más rápida, tiempos de espera de los usuarios reducidos y una gestión de tareas más eficiente.

Personalizable para diversas tareas de productividad y desarrollo de productos

Disponer de un modelo propio de IA generativa permite una personalización más sencilla, de modo que se puede lograr un rendimiento óptimo para objetivos y aplicaciones específicos. Samsung Gauss ya se está utilizando en diversas tareas por los empleados de Samsung, aprovechando sus capacidades de desarrollo personalizables.

Con la potencia de Samsung Gauss, el asistente de codificación propio “code.i” ayuda a los desarrolladores de software de la empresa. Ahora, actualizado a Samsung Gauss2, está siendo utilizado por unidades de negocio de la división Device eXperience (DX) y por institutos de investigación internacionales.

Desde su lanzamiento en diciembre pasado, el uso mensual de code.i se ha cuadriplicado y aproximadamente el 60% de todos los desarrolladores de software de la División DX lo utilizan actualmente. Además, Samsung Gauss Portal es un servicio de inteligencia artificial conversacional impulsado por Samsung Gauss que ayuda a los empleados de la División DX en diversas tareas de oficina, como resúmenes de documentos, traducciones y redacción de correos electrónicos. En abril, el servicio se amplió a las filiales en el extranjero. Además, a partir de agosto, Samsung está utilizando Samsung Gauss para que el personal del centro de llamadas categorice y resuma automáticamente las llamadas de los clientes.

De cara al futuro, Samsung pretende continuar aumentando la productividad dentro de la empresa aplicando Samsung Gauss2, para mejorar el rendimiento del servicio code.i, potenciar la función de preguntas y respuestas en lenguaje natural del portal Samsung Gauss y dar soporte a funciones multimodales como la comprensión de gráficos y la creación de imágenes.

Además, bajo la visión de “IA para todos”, Samsung seguirá ampliando el alcance de sus servicios basados en IA en todas las líneas de productos para que los usuarios puedan disfrutar de una vida cotidiana más cómoda y agradable. Y mediante la integración de la tecnología de conocimiento de gráficos con la IA, Samsung espera proporcionar servicios de personalización aún mejores.

Presentaciones sobre temas que incluyen plataformas de software, IoT, atención médica, comunicaciones y datos

Tras el anuncio de Samsung Gauss2, se llevaron a cabo presentaciones sobre la experiencia del cliente con las plataformas de Samsung, que incluyeron información relevante sobre la experiencia SmartThings y mejoras significativas en varias plataformas de software.

Posteriormente se realizaron 29 sesiones técnicas diversas, entre las que destacan las siguientes:

• El futuro de la salud y la estrategia del ecosistema Samsung Health
• Mejoras en la experiencia del cliente de SmartThings con IA generativa
• code.i: Cómo entender el asistente de codificación IA de Samsung Electronics
• La TV como el centro de contenido de estilo de vida para enriquecer la experiencia diaria.

• Soluciones de IA para electrodomésticos Samsung mediante visión artificial y uso de datos.

Para obtener información más detallada sobre SDC24 Korea, visita el sitio web oficial https://www.sdc-korea.com/

[1] Un enfoque en el que solo se seleccionan y activan los modelos expertos más adecuados para tareas específicas, lo que permite una mejora eficiente del rendimiento mediante la conservación de los recursos computacionales necesarios.

[2] Una herramienta que convierte entradas como letras en formatos de datos que pueden ser procesados por computadoras.

Estamos entrando al momento más emocionante y probablemente uno de los más históricos de la tecnología. La era de la IA móvil ya está aquí, que para Samsung tuvo inicio con la introducción de las funciones Galaxy AI en la serie Galaxy S24, nuestro primer teléfono con IA.

Revolucionando las experiencias móviles con un enfoque de IA híbrida 

Para llevar los beneficios reales de la tecnología de IA generativa a la serie Galaxy S24, adoptamos un enfoque híbrido para nuestra integración de IA. La IA ofrece muchas posibilidades y creemos que los dispositivos móviles son el principal punto de acceso para desbloquear su potencial, ya que los usuarios de todo el mundo siguen dependiendo de sus teléfonos para la mayoría de sus necesidades diarias.

El papel esencial que desempeñan los dispositivos móviles en la vida cotidiana nos muestra que son elementos personales que los usuarios utilizan durante muchos momentos decisivos y memorables. Entendemos estos comportamientos y creemos que los smartphones deberían ser una herramienta de trabajo ideal para que los usuarios realmente puedan aprovechar al máximo los momentos importantes de una manera más simple, más intuitiva y más memorable. También reconocemos la importancia de la privacidad, por eso damos a los usuarios control total sobre lo que desean compartir y sobre lo que desean mantener en privado.

Creemos que nuestro enfoque híbrido es la solución más práctica y confiable para satisfacer todas estas necesidades permitiendo también colocar a Samsung a la vanguardia. Ofrecemos a los usuarios un equilibrio entre la capacidad de respuesta instantánea y la garantía de privacidad adicional de la IA en el dispositivo, junto con la versatilidad de la IA basada en la nube a través de colaboraciones abiertas con socios líderes de la industria para ofrecer una variedad de funciones necesarias para la vida diaria.

Ampliando las posibilidades con la IA en el dispositivo

Creamos la función ‘Traducción simultánea’ en el dispositivo basada en IA, porque la llamada de voz es la característica esencial de un smartphone, así como también es un medio de comunicación íntimo y privado. Samsung se ha comprometido a capacitar a los usuarios para que se comuniquen sin las barreras del idioma, garantizando también que cada comunicación sea segura y privada.

Para hacer realidad esta característica, nuestro equipo de I+D trabajó día y noche como parte de un proceso colaborativo que realmente potencializó nuestros equipos. Desde determinar el tamaño correcto de los modelos de lenguaje de IA hasta la capacitación y las pruebas en escenarios de la vida real, nuestras organizaciones de I+D dentro del negocio MX se desafiaron a sí mismas y superaron los límites de lo que pensábamos que era posible para que esta función se ejecutara completamente en el dispositivo.

Las redes globales de I+D de Samsung en todo el mundo, que están a cargo de hacer crecer los mejores talentos y desarrollar tecnologías centrales en cada región, también han desempeñado un papel fundamental. Los centros de investigación de Samsung en todo el mundo, incluidos Polonia, China, India y Vietnam, se han dedicado a desarrollar y expandir los lenguajes admitidos por Galaxy AI. Los idiomas son siempre culturales, contemporáneos y localizados, por lo que para ayudar a las personas a romper las barreras lingüísticas y comunicarse de forma más natural, el papel de nuestras oficinas locales de I+D es crucial, principalmente a la hora de abrir nuevas posibilidades para los usuarios en más regiones.

Todos estos esfuerzos han permitido a Samsung ofrecer algo completamente nuevo que me complace compartir. En breve, Samsung ampliará el poder de la Galaxy AI más allá de la aplicación de llamadas nativa de Samsung al expandir Traducción Simultánea a otras aplicaciones de mensajes de terceros para admitir llamadas de voz. Para que pueda mantenerse en contacto con amigos o colegas, comunicándose a través de sus aplicaciones favoritas en varios idiomas.

Y dado que esta función se ha integrado en nuestro modelo de traducción de idiomas con IA en el dispositivo, los usuarios podrán experimentar una comunicación libre de barreras sin preocuparse por problemas de privacidad, como cuando se comparten datos personales fuera de su teléfono al utilizar Traducción Simultánea.

Espero que se incorporen cada vez más funciones de IA móvil en los dispositivos móviles a medida que la potencia informática inteligente de los últimos chips (en particular las NPU) avance a una velocidad vertiginosa, junto con otras tecnologías. Esto permitirá que más personas adopten la IA haciendo que cada día sea más conveniente y ofreciendo al mismo tiempo, mayor tranquilidad.

Creciente Galaxy AI para las necesidades del mañana, hoy

Esta emocionante noticia es parte de la extensión de nuestro compromiso con Galaxy AI y el ingreso a la siguiente fase de la era de la IA móvil. La introducción de Galaxy AI en la serie Galaxy S24 fue solo el comienzo. Para ofrecer una experiencia de IA completamente nueva y única, optimizaremos aún más la experiencia Galaxy AI para los próximos dispositivos plegables. Nuestros dispositivos plegables son el factor de forma más versátil y flexible de Samsung Galaxy y, cuando se combinan con Galaxy AI, estas dos tecnologías complementarias desbloquearán todas las nuevas posibilidades.

Samsung también se compromete a expandir las experiencias de Galaxy AI en todo el ecosistema Galaxy más amplio de una manera que solo Samsung puede hacerlo. A medida que la era de la IA móvil avanza a gran velocidad, Samsung está acelerando las innovaciones en IA móvil para satisfacer las necesidades no sólo de hoy, sino también del mañana.

Registrar los momentos de la vida mediante fotos o videos ya no es lo mismo que antes. El concepto de calidad fotográfica se renueva, gracias al versátil e innovador conjunto de herramientas Galaxy AI, lanzado este año con Galaxy S24, y ahora también disponible en las series S23 y S22, Z Fold5, Z Fold4, Z Flip5, Z Flip4, así como en las series de tablets Tab S9 y Tab S8.

Entre las funciones disponibles se encuentra el AI Zoom, un verdadero aliado para captar imágenes de buena calidad, incluso a distancia. Esta herramienta eleva la calidad de las fotos en todos los niveles de zoom digital, llegando hasta 100x, ofreciéndote la claridad y nitidez que necesitas en cada clic.

El universo Galaxy AI para cámaras también cuenta con Edit Suggestion. Con ella, la foto recibe mejoras automáticas, destacando lo mejor de cada imagen. Mira a continuación cómo utilizar la función:

• Selecciona una foto de la Galería para editar.
• Selecciona el ícono circular “i”.
• En la foto, verás sugerencias de edición. Selecciona cualquiera de ellas y da rienda suelta a tu creatividad.
• Guarda la imagen editada como copia o como sustitución de la imagen original.

Además, con Generative Edit puedes rellenar partes del fondo de una imagen. Si has hecho clic de forma incorrecta, sólo tienes que utilizar la función, ya que la IA Generativa te permite realizar ediciones como enderezar y cambiar el tamaño.

Y si necesitas borrar a alguien o algún detalle de la imagen, Generative Edit también puede solucionarlo, ya que rellena el fondo más allá de lo que se captó originalmente. Además, se puede crear un nuevo fondo en lugar de una figura eliminada, como si nunca hubiera existido en la imagen.

Cómo utilizar Generative Edit:

• Ve a Galería y elige una imagen.
• Selecciona la herramienta bolígrafo y, a continuación, el ícono de la estrella Galaxy AI.
• Dibuja alrededor o mantén pulsados los objetos que quieras mover o eliminar.
• Muévelo o selecciona el ícono de la goma de borrar para eliminarlo.
• A continuación, selecciona el botón “Generar” para rellenar el fondo que falta.
• Para rellenar el borde alrededor de la imagen, ajusta la posición de la imagen como desees hasta que aparezca el borde a cuadros.
• Finalmente, selecciona Generate y Galaxy AI rellenará el borde que falta.

Otra herramienta de Galaxy AI es Instant Slow-mo, que analiza el movimiento en los videos y los convierte en reproducciones suaves y/o en cámara lenta. Esta función se puede utilizar incluso en videos que no se grabaron originalmente en cámara lenta. Para ello, basta con presionar la pantalla mientras se reproduce el video y el momento se transformará automáticamente en cámara lenta.