O processo de desenvolvimento dos recursos de idiomas para o Galaxy AI exigiu muito tempo e dedicação, pois cada idioma possui uma estrutura e uma cultura únicas. Pesquisadores da Samsung em diversas regiões – Brasil, China, Índia, Indonésia, Japão, Jordânia, Polônia e Vietnã – compartilharam os desafios e as conquistas que marcaram o desenvolvimento do Galaxy AI. A Samsung Newsroom preparou um resumo das suas histórias abaixo.

Desenvolvimento de um modelo de tradução

Os recursos do Galaxy AI, como o Tradução Simultânea, incluem três processos principais: reconhecimento automático de fala (ASR), tradução automática neural (NMT) e conversão de texto em fala (TTS).

O reconhecimento automático de fala (ASR), a tradução automática neural (NMT) e a conversão de texto em fala (TTS) requerem conjuntos distintos de informações para treinamento

O Centro de Pesquisa e Desenvolvimento da Samsung no Vietnã (SRV) enfrentou obstáculos com modelos de reconhecimento automático de fala (ASR), pois o vietnamita é um idioma com seis tons distintos. A complexidade adicionada pelos tons torna o reconhecimento por Inteligência Artificial mais complicado, pois as nuances linguísticas são mais sutis e variadas. Para superar esse obstáculo, o SRV desenvolveu um modelo capaz de distinguir quadros de áudio mais curtos, com cerca de 20 milissegundos.

O Centro de Pesquisa e Desenvolvimento da Samsung na Polônia (SRPOL) enfrentou o enorme desafio de treinar modelos de tradução automática neural (NMT) para um continente tão diversificado como a Europa. Aproveitando sua vasta experiência em projetos que cobrem mais de 30 idiomas e quatro fusos horários, o SRPOL conseguiu superar a dificuldade de traduzir frases intraduzíveis e lidar com expressões idiomáticas que podem não ter equivalentes diretos em outros idiomas.

O Centro de Pesquisa e Desenvolvimento da Samsung na Jordânia (SRJO) adaptou o árabe – um idioma falado em mais de 20 países e com cerca de 30 dialetos – para o Galaxy AI. Criar um modelo de conversão de texto em fala (TTS) não foi uma tarefa fácil, pois os diacríticos e as orientações de pronúncia são amplamente compreendidos pelos falantes nativos de árabe, mas estão ausentes na escrita. Com base em um sofisticado modelo de previsão para diacríticos ausentes, o SRJO conseguiu publicar um modelo de linguagem que compreende diferentes dialetos e consegue responder em árabe padrão.

A importância dos dados

Ao longo do processo de treinamento do Galaxy AI em cada idioma, um tema central foi a importância da colaboração aberta com instituições locais. A qualidade dos dados utilizados diretamente a precisão dos sistemas de ASR, NMT e TTS. Assim, a Samsung trabalhou com vários parceiros para obter e analisar dados que refletissem o jargão, dialetos e outras variações regionais.

Cada idioma tem um conjunto distinto de qualidades que representam desafios na criação de um modelo de idioma de IA para ele. Os tons aumentam a complexidade para idiomas tonais como o vietnamita

O Centro de Pesquisa e Desenvolvimento da Samsung na Índia-Bangalore (SRI-B) colaborou com o Vellore Institute of Technology para proteger quase um milhão de linhas de dados de áudio segmentados e selecionados, incluindo fala, palavras e comandos de conversação. Os alunos tiveram experiência prática em um projeto da vida real, e orientação de especialistas da Samsung. O rico banco de dados resultante ajudou o SRI-B a treinar o Galaxy AI em hindi, cobrindo mais de 20 dialetos regionais e suas respectivas inflexões tonais, pontuação e coloquialismos.

Os conhecimentos linguísticos locais foram essenciais para o desenvolvimento do modelo de espanhol latino-americano, devido à diversidade dentro da língua que reflete a diversidade de cada país. Por exemplo, a palavra para “piscina” pode variar para “alberca” no México, “piscina” na Colômbia, Bolívia e Venezuela, ou “pileta” na Argentina, Paraguai e Uruguai, dependendo da região.

O Centro de Pesquisa e Desenvolvimento da Samsung no Brasil (SRBR) colaborou com os institutos de ciência e tecnologia SiDi e Sidia para coletar e gerenciar grandes volumes de dados. Esse trabalho incluiu a refinação e aprimoramento das fontes de áudio e texto, essenciais para o desenvolvimento do modelo de espanhol latino-americano do Galaxy AI.

O Centro de Pesquisa e Desenvolvimento da Samsung na China-Beijing (SRC-B) e o Centro de Pesquisa e Desenvolvimento da Samsung na China-Guangzhou (SRC-G) estabeleceram parcerias com as empresas chinesas Baidu e Meitu, aproveitando sua expertise no desenvolvimento de grandes modelos de linguagem (LLM), como ERNIE Bot e MiracleVision, respectivamente. Como resultado, o Galaxy AI agora suporta os dois principais modos do chinês: mandarim e cantonês.

Além da colaboração externa, a diligência e os recursos internos foram igualmente essenciais.

O bahasa indonésio é um idioma caracterizado pelo uso extensivo de significados contextuais e implícitos, que se baseiam em pistas sociais e situacionais. Os pesquisadores do Centro de Pesquisa e Desenvolvimento da Samsung na Indonésia (SRIN) realizaram gravações em cafeterias e ambientes de trabalho para capturar ruídos ambientais autênticos que poderiam interferir na entrada de áudio. Esse trabalho de campo ajudou o modelo a aprender a reconhecer informações relevantes a partir da entrada verbal, aprimorando, assim, a precisão do reconhecimento de fala.

No japonês, há muitos homônimos devido ao número limitado de sons no idioma, o que exige que muitas palavras sejam interpretadas com base no contexto. O Centro de Pesquisa e Desenvolvimento da Samsung no Japão (SRJ) utilizou o Samsung Gauss, o LLM interno da empresa, para estruturar frases contextuais com palavras ou expressões relevantes para cada cenário, ajudando o modelo de Inteligência Artificial a distinguir homônimos.

Rede global de pesquisa da Samsung

Os profissionais de diversos institutos de pesquisa e desenvolvimento da Samsung maximizaram o uso da rede global de pesquisa da empresa.

Antes de abordar o hindi, o SRI-B colaborou com equipes de todo o mundo para desenvolver modelos de linguagem de Inteligência Artificial para inglês britânico, inglês da Índia e da Austrália, bem como tailandês, vietnamita e indonésio. Engenheiros de outros centros de pesquisa da Samsung viajaram até Bangalore, na Índia, para integrar os idiomas vietnamita, tailandês e indonésio ao Galaxy AI.

Funcionários e colaboradores posam em frente ao Samsung R&D Institute India-Bangalore (SRI-B)

O SRPOL tinha vasta experiência no desenvolvimento de modelos ASR, NMT e TTS para uma infinidade de idiomas. Protagonista crucial na expansão linguística do Galaxy AI, o SRPOL colaborou com institutos em todos os continentes para apoiar o SRJO com dialetos árabes e o SRBR com o português do Brasil e o espanhol da América Latina.

Desenvolvedores da Samsung em cada uma dessas localidades aprenderam a trabalhar em conjunto, superando fronteiras e fusos horários. Os desenvolvedores do SRIN, por exemplo, observaram os costumes locais de jejum na Índia quando se encontraram com seus colegas do SRI-B. Muitos refletiram com orgulho e gratidão sobre seu trabalho, reconhecendo as implicações duradouras desse projeto na língua, cultura, patrimônio e identidade.

Esforços contínuos à medida que a jornada avança

A Samsung apresentou recentemente o Galaxy AI em seus mais recentes dobráveis e wearables – o Galaxy Z Fold6, Galaxy Z Flip6, Galaxy Watch7 e Galaxy Watch Ultra. Desde o seu lançamento no início deste ano, o Galaxy AI já foi usado em mais de 100 milhões de dispositivos.

“Esperamos alcançar 200 milhões de dispositivos até o final de 2024”, afirmou Won-joon Choi, vice-presidente executivo e chefe do escritório de pesquisa e desenvolvimento móvel, Mobile eXperience Business da Samsung Electronics, em um painel de discussão recente.

No meio desta missão de democratizar a Inteligência Artificial, é fundamental refletir sobre as conquistas e o progresso alcançados, que possibilitaram o desenvolvimento desta tecnologia segura e inclusiva, que beneficiará a humanidade e melhorará vidas. Ao expandir o ecossistema Galaxy AI com mais funcionalidades, idiomas e variações regionais, a Samsung está promovendo intercâmbios interculturais de maneiras inéditas, concretizando sua visão de “Inteligência Artificial para Todos”.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O Intérprete requer login na Conta Samsung. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida. A disponibilidade e os recursos suportados podem variar conforme país, região ou operadora. A disponibilidade dos idiomas suportados pode variar.

⁴ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

O Galaxy AI oferece atualmente suporte a 16 idiomas, para que mais pessoas possam expandir seus recursos linguísticos, mesmo off-line, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete³, Notas Inteligentes⁴ e Assistente de Navegação.

Mas o que está envolvido no desenvolvimento da linguagem de Inteligência Artificial? Da última vez, visitamos a Polônia para entender como os países europeus colaboram para alcançar seus objetivos. Desta vez, estamos no Japão para ver como os desenvolvedores estão sempre se adaptando a novos cenários e casos de uso.

O Instituto de P&D da Samsung no Japão (SRJ) foi criado para ser um centro de P&D focado em hardware, tais como eletrodomésticos e telas. Com o aumento da demanda por inovação em IA em todo o mundo, o SRJ em Yokohama também tem operado um laboratório de desenvolvimento de software para criar o recurso de Tradução Simultânea do Galaxy AI, que, desde o final do ano passado, traduz automaticamente chamadas de voz em tempo real.

“O recurso Tradução Simultânea é particularmente útil em viagens, como é o caso dos visitantes dos Jogos Olímpicos deste ano em Paris”, diz Takayuki Akasako, Diretor de Inteligência Artificial do SRJ. “No momento, estamos desenvolvendo um programa de reconhecimento de fala para pessoas fazendo turismo e assistindo aos Jogos Olímpicos de Paris e treinando o programa de reconhecimento de fala para aprender sobre os jogos e os locais dos estádios em Paris 2024”.

Compreensão do contexto no reconhecimento de voz

Para quem já usa os recursos de tradução do Galaxy AI, essas funcionalidades podem parecer muito úteis. Mas os desenvolvedores que criaram esses recursos sabem que conseguir se comunicar durante uma viagem ao exterior é algo que não pode ser dado como certo.

Uma das observações da equipe foi que há mais palavras homônimas em japonês do que em outros idiomas. Por exemplo, ‘pauzinhos’ (Hashi,箸) e ‘ponte’ (Hashi,橋) são relativamente fáceis de distinguir devido à diferença de entonação, mas palavras como ‘turismo’ (Kankō,観光), ‘costumes’ (Kankō,慣行), ‘público’ (Kōkyō,公共) e ‘prosperidade’ (Kōkyō,好況) devem ser interpretadas de acordo com o contexto.

“A interpretação fica mais difícil quando o contexto é ambíguo, como nomes de locais e pessoas, nomes próprios, dialetos e números”, diz Akasako. “Portanto, para melhorar a precisão do reconhecimento de fala são necessários muitos dados”.

“Estamos sempre buscando maneiras de fazer ajustes finos no modelo de IA para eventos e momentos importantes e em tempo hábil”, acrescenta Akasako. “Com muitas novas combinações de nomes de lugares e atividades, é importante que o contexto fique claro quando as pessoas estiverem usando o Galaxy AI”.

Desafios na coleta de dados eficientes

Embora o reconhecimento dos tipos de dados necessários também seja importante, a própria coleta de dados é um desafio à parte.

Antes, a equipe do SRJ usava dados gravados por pessoas para treinar o mecanismo de reconhecimento de fala do recurso de Tradução Simultânea, o que levava a uma coleta insuficiente de dados.

O Samsung Gauss, o Modelo de Linguagem Ampla (LLM, na sigla em inglês) da empresa, usa roteiros para estruturar frases com palavras ou expressões relevantes para cada cenário. Os dados coletados com o Samsung Gauss não são apenas gravados por pessoas, mas também gerados por dados de síntese de fala text-to-speech (TTS), por meio dos quais pessoas fazem a verificação final da qualidade. Usando esse método, a equipe observou uma melhoria significativa na eficiência da coleta de dados.

“Sempre que um problema é identificado e resolvido, a precisão do reconhecimento de fala melhora significativamente”, explica Akasako. “Independentemente de onde estejam, nosso objetivo é conectar as pessoas umas às outras, e as ferramentas com tecnologia Galaxy AI garantirão uma comunicação mais divertida e eficiente”.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O Intérprete requer login na Conta Samsung. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida. A disponibilidade e os recursos suportados podem variar conforme país, região ou operadora. A disponibilidade dos idiomas suportados pode variar.

⁴ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

O Galaxy AI oferece atualmente suporte a 16 idiomas, para que mais pessoas possam expandir seus recursos linguísticos, mesmo off-line, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete³, Notas Inteligentes⁴ e Assistente de Navegação.

Mas o que está envolvido no desenvolvimento da linguagem de Inteligência Artificial? Da última vez, visitamos a Índia para saber como as equipes trabalham com alunos e universidades para levar o Galaxy AI a mais pessoas. Desta vez, estamos na Polônia para descobrir como os países europeus trabalham para atingir seu objetivo.

Há um ditado no Instituto de P&D Samsung na Polônia (SRPOL): “Um dia no SRPOL dura 96 horas”. Ele se refere ao papel global do centro como um dos maiores e mais rápidos centros de P&D da região, geralmente trabalhando em quatro fusos horários diferentes.

Situado no coração da Europa, enquanto cobre muitos mercados europeus e globais, o SRPOL trabalhou em reconhecimento automático de fala, tradução automática neural e modelos de texto para fala em mais de 30 idiomas. Quando se tratou de trazer 10 idiomas para o Galaxy AI, essa experiência significou que a equipe estava preparada para misturar continuamente as perspectivas culturais com a tecnologia global da Samsung.

O SRPOL tem anos de experiência em Processamento de Linguagem Natural. O que o torna único é sua adaptabilidade para trabalhar em qualquer idioma, graças à equipe apaixonada e suas ferramentas, como uma plataforma de pesquisa coletiva que permite um desenvolvimento rápido e ágil.

“A parceria em todo o continente significa coleta de dados, anotação e pesquisa implacáveis, o que se tornou algo que realmente gostamos”, diz Kornel Jankowski, Líder de Decodificação de Fala no SRPOL. “Lidamos com tantos idiomas que nossa equipe desenvolveu habilidades universais e independentes de idioma. Quando somos solicitados a dar apoio a um novo modelo de idioma, a atitude de todos é: Nossa, vamos aprender outro, isso vai ser divertido!”

Um centro Europeu para o desenvolvimento da linguagem de Inteligência Artificial

A linguagem é fundamental para a cultura e a comunicação em toda a Europa, independentemente de ser incorporada à tecnologia. No entanto, ela apresenta desafios únicos para a equipe do SRPOL, que desenvolve modelos de Inteligência Artificial para idiomas europeus.

“Cada idioma e a cultura na qual faz parte vêm com obstáculos que nos fazem reavaliar como percebemos uma questão específica”, explica Adam Ros, Líder de Inteligência Artificial do SRPOL. “Esses obstáculos incluem navegar pela dificuldade de tradução de certas frases e lidar com expressões idiomáticas que podem não ter equivalentes diretos em outros idiomas”.

A equipe viu esses desafios como uma oportunidade de tornar o SRPOL um centro europeu para o desenvolvimento da linguagem de Inteligência Artificial. O maior benefício disso é que ele encurta o caminho da comunicação entre diferentes departamentos e, crucialmente, o trajeto da tomada de decisão. Seja uma questão de reconhecimento automático de fala, tradução automática neural ou conversão de texto em fala, as equipes podem simplesmente ir até os colegas da Garantia de Qualidade Móvel e resolver os problemas juntos de forma eficiente.

Embora isso tenha ajudado, não superou todos os desafios da Inteligência Artificial. Inevitavelmente, há limitações em modelos de IA ao lidar com vários idiomas europeus, como tradução sem contexto ou variações na entonação. No entanto, a equipe viu isso como uma oportunidade de continuar aprendendo e inovando.

“Minha equipe nunca para em apenas um exemplo ao lidar com uma nova palavra ou tópico. Alguns idiomas europeus são mais difíceis do que outros”, acrescenta Ros. “Se você já foi à Espanha, sabe que o espanhol é frequentemente falado em velocidades extremamente rápidas e precisamos treinar bem a Inteligência Artificial para lidar com isso”.

A expansão do Galaxy AI exigiu uma nova parceria entre continentes, mas o trabalho logo cresceu além das fronteiras europeias. O SRPOL apoiou os esforços da equipe da Jordânia para ensinar a miríade de dialetos árabes do Galaxy AI, bem como o trabalho da equipe do Brasil em idiomas latino-americanos.

A importância das sutilezas da linguagem e das diferenças culturais estão todas no radar dos desenvolvedores de produtos do SRPOL porque todas podem ser notadas pelo alvo — os usuários finais.

“Existem diferenças sutis entre as culturas europeias que afetam se algo parece natural para o usuário final. Por exemplo, as pessoas em alguns países esperam ler preços com o símbolo do euro (€), enquanto outras estão acostumadas a vê-lo escrito por extenso, e-u-r-o-s”, diz Agata Maria Rozycka, Líder de Pesquisa de Inteligência de Voz no SRPOL. “Se essa nuance cultural não for refletida no texto traduzido, a interface pode parecer menos intuitiva para o usuário. Implementar esses insights de nível micro no design da interface pode fazer com que a tecnologia pareça mais natural em diversas culturas”.

“A equipe tem se comunicado e realizado parceria remotamente em diferentes países por muitos anos, construindo vários canais de comunicação eficazes”, diz Marcin Mrugala, Líder de Garantia de Qualidade Móvel no SRPOL. “Estávamos prontos para fazer nossa parte para permitir que o Galaxy AI reduza as barreiras linguísticas em todo o mundo”.

Tecnologia para unir culturas

Gerenciar e integrar diversos insights linguísticos e culturais é uma tarefa desafiadora, mas é essencial para a visão da Samsung para o Galaxy AI — reduzir as barreiras que dividem as pessoas com base na língua e na cultura e permitir que elas criem conexões mais profundas.

“Não estamos apenas construindo a tecnologia do futuro, estamos construindo equipes do futuro também. Nossas melhores práticas são projetadas para refinar produtos com base nas diferenças entre os países, mas acreditamos fundamentalmente que nossas similaridades superam muito nossas diferenças e que nossa tecnologia pode unir culturas”, diz Mrugala.

“Nosso objetivo é unir as pessoas, tornar suas vidas mais fáceis e simplificar suas tarefas diárias. Estamos vendo nossas famílias usando o Gravador de Voz de novas maneiras, e agora podemos ligar para nossos amigos em diferentes países e falar com eles em seu próprio idioma. É mágico ver essa mudança no mundo e fazer parte dela. A Galaxy AI uniu as pessoas do SRPOL e agora estamos unindo o mundo”, conclui Rozycka.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O Intérprete requer login na Conta Samsung. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida. A disponibilidade e os recursos suportados podem variar conforme país, região ou operadora. A disponibilidade dos idiomas suportados pode variar.

⁴ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

O Galaxy AI oferece atualmente suporte a 16 idiomas, para que mais pessoas possam expandir seus recursos linguísticos, mesmo off-line, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete, Notas Inteligentes³ e Assistente de Navegação.

Mas o que está envolvido no desenvolvimento da linguagem de Inteligência Artificial? Na terceira parte desta série, visitamos o Brasil para saber como as equipes trabalham entre as diferentes culturas e fronteiras para levar o Galaxy AI para mais pessoas. Desta vez, estamos na Índia para conhecer o valor da cooperação com parceiros locais.

Escondido dentro do Vellore Institute of Technology em Chennai, na Índia, há um laboratório repleto de equipamentos futurísticos de áudio. É possível encontrar manequins – conhecidos no setor como simuladores de cabeça e tronco -, bem como microfones binaurais e aparelhos auditivos. Eles ficam guardados em câmaras especiais tratadas com um avançado sistema de absorção de som, tornando esse laboratório o primeiro do gênero na Índia. Imagine que uma instalação como essa é usada para desenvolver os mais novos equipamentos de alta fidelidade (Hi-Fi) de última geração.

É lá que o Vellore Institute of Technology colabora com a Samsung para produzir e desenvolver dados e ideias que alimentam os mais recentes modelos de Inteligência Artificial para os recursos de linguagem do Galaxy AI.

A unidade foi desenvolvida como parte do Samsung SEED (Students Ecosystem for Engineered Data) Labs – uma iniciativa que permite que equipes universitárias, estudantes e estagiários na Índia trabalhem em projetos encomendados pela Samsung desde 2021. Esse é apenas um dos vários programas universitários financiados pela Samsung, em que os alunos têm a oportunidade de trabalhar em projetos com especialistas técnicos da empresa.

“Como estudante, adoro poder trabalhar em vários projetos com uma empresa conhecida e respeitada como a Samsung”, diz Yashika Ilanchezhiyan, estudante do Samsung SEED. “Ganhei confiança para aprender novas habilidades de forma prática e sinto que estou fazendo uma diferença real nos produtos atuais e futuros”.

“Esse tipo de colaboração é benéfica para todos”, diz Giridhar Jakki, Diretor de IA voltada para Idiomas do Instituto de P&D da Samsung na Índia – Bangalore (SRI-B). “Graças aos nossos projetos com universidades, podemos acessar conhecimentos adicionais e conjuntos de dados customizados. Em troca, as universidades parceiras recebem investimentos, incentivos financeiros e orientação especializada da Samsung”.

Diminuindo as barreiras linguísticas

O SRI-B tem colaborado com equipes de todo o mundo para desenvolver modelos de Inteligência Artificial para os idiomas inglês britânico, indiano e australiano, bem como tailandês, vietnamita e indonésio.

Recentemente, os principais engenheiros de outros centros de pesquisa da Samsung visitaram Bangalore, na Índia, onde a equipe do SRI-B ajudou a desenvolver a tecnologia para trazer o vietnamita, o tailandês e o indonésio para o Galaxy AI. Assim, o SRI-B ficou numa posição ideal para desenvolver o idioma hindi para o Galaxy AI.

Segundo Jakki, “Todo idioma tem seus desafios. Mas quando pensamos no objetivo final de dar às pessoas a capacidade de se comunicar em outros idiomas, todo o esforço vale a pena. Estávamos ansiosos para trazer o hindi para a Galaxy AI”.

Não foi fácil desenvolver o modelo de Inteligência Artificial em hindi. A equipe precisou garantir que mais de 20 dialetos regionais, inflexões vocais, pontuação e coloquialismos fossem contemplados. Além disso, os falantes de hindi costumam misturar palavras em inglês em suas conversas. Isso exigiu que a equipe realizasse diversas sessões de treinamento de modelos de Inteligência Artificial com uma combinação de dados traduzidos e transliterados.

“O hindi tem uma estrutura fonética complexa que inclui sons retroflexos – sons feitos enrolando a língua na boca – que não existem em muitos outros idiomas”, diz Jakki. “Para desenvolver o elemento de síntese de fala da solução de Inteligência Artificial, analisamos cuidadosamente os dados com linguistas nativos para entender todos os sons exclusivos e criamos um conjunto especial de fonemas para dar suporte a dialetos específicos do idioma”.

Os esforços de colaboração entre a Samsung e os parceiros do setor acadêmico foram fundamentais para o desenvolvimento do modelo de linguagem de Inteligência Artificial que refletisse as nuances culturais das regiões da Índia.

O Vellore Institute of Technology ajudou a obter quase um milhão de linhas de dados de áudio segmentados e organizados sobre fala, palavras e comandos de conversação. Os dados foram um componente fundamental para uma tarefa tão crítica como a de incorporar o idioma ao Galaxy AI. O trabalho com universidades garantiu à Samsung o uso de dados da mais alta qualidade.

Conexões globais geram grandes impactos

Este projeto resume perfeitamente a filosofia de colaboração aberta da Samsung e a crença da empresa de que compartilhar conhecimentos e perspectivas garante uma inovação significativa. No caso do SRI-B, isso não envolve apenas o trabalho com o meio acadêmico, mas também o compartilhamento de ideias e práticas recomendadas com outros centros de pesquisa da Samsung em todo o mundo.

“Tenho muito orgulho do que conquistamos com a ajuda de nossos parceiros”, diz Jakki. “A inovação em IA por meio da colaboração é uma grande parte do que fazemos. Continuaremos a entender, coletar e analisar melhor os dados linguísticos para que mais pessoas possam ter acesso às ferramentas de IA no futuro”.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

O Galaxy AI agora oferece suporte a 16 idiomas, permitindo que mais pessoas expandam suas habilidades linguísticas, mesmo offline, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete, Notas Inteligentes³ e Assistente de Navegação.

Mas o que está envolvido no desenvolvimento da linguagem de Inteligência Artificial? Na quarta parte desta série, visitamos a China para aprender sobre a importância da parceria com outros líderes em IA. Desta vez, estamos no Brasil para explorar como as equipes trabalham através de culturas e fronteiras para levar a Inteligência Artificial do Galaxy a mais pessoas.

Sendo um país diversificado com mais de 203 milhões de habitantes e que incorpora uma ampla gama de culturas e tradições, o Brasil usa o português brasileiro como língua oficial. Enquanto isso, 22 países vizinhos usam o espanhol latino-americano.

Embora o português brasileiro e o espanhol latino-americano sejam amplamente falados, as variações intrincadas de ambos os idiomas apresentaram vários desafios ao ensinar o Galaxy AI a discernir e distinguir diferenças regionais. É por isso que o Samsung R&D Institute Brasil (SRBR) colaborou com especialistas da Samsung do México — bem como com parceiros terceirizados, como os institutos de ciência e tecnologia SiDi e Sidia — para montar uma equipe multidisciplinar e altamente qualificada que pudesse enfrentar a tarefa.

Obstáculos menores, compreensão aprofundada

A equipe usou milhares de fontes e uma combinação de aprendizado de máquina e linguagem para melhorar o reconhecimento de fala, textos escritos e variações regionais do modelo de Inteligência Artificial. Mas os dialetos locais e os nomes de figuras famosas – incluindo equipes desportivas, celebridades e bandas – variam amplamente entre as regiões.

Além disso, o mesmo significado pode ser expresso em muitas palavras diferentes. Embora os modelos linguísticos necessitem de dados localizados para obter uma compreensão abrangente dos diferentes idiomas necessários para traduzir, tais variações apresentam obstáculos.

Por exemplo, a palavra piscina é “alberca” no México, mas é “pileta” na Argentina, Paraguai e Uruguai. Enquanto isso, na Colômbia, Bolívia e Venezuela, piscina é “piscina”, que também é usada no Brasil, mas com uma pequena diferença na pronúncia. E apesar de os colombianos dizerem “chévere” para se referir a algo legal, os mexicanos dizem “padre”.

Estas diferenças representam enormes desafios para a compreensão e aprendizagem de línguas através da Inteligência Artificial, mas a equipe superou os obstáculos construindo modelos linguísticos maiores, refinando ferramentas de processamento e colaborando através de fronteiras e fusos horários.

“Tivemos que considerar gírias locais e diferentes formas de falar antes de adaptar e testar o modelo em conformidade, o que exigiu uma estreita colaboração entre a equipe de garantia de qualidade (QA) da SRBR e as equipes de desenvolvimento”, afirma Mateus Pedroso, Senior Manager e Head of Software Quality Lab na SRBR. “Como a SRBR está localizada três horas à frente da equipe de QA no México e 12 horas atrás da equipe de gestão na Coreia, tivemos que criar novos canais e processos de comunicação para alinhar resultados e compartilhar o progresso. Esta colaboração multicultural gerou uma festa de ideias e soluções para o Galaxy AI”.

Comunicando o sucesso

A filosofia de colaboração aberta da Samsung ganhou vida durante este projeto regional, pois foi um processo iterativo que alavancou a evolução da tecnologia em escala global. Para superar as barreiras linguísticas e culturais, a equipa do SRBR precisava de recolher, gerir e desenvolver enormes quantidades de dados, refinando e melhorando continuamente as fontes de áudio e texto.

As equipes definiram áreas chave de responsabilidade para garantir que todos pudessem se beneficiar dos conjuntos de habilidades coletivas nos escritórios da empresa na América Latina.

A equipe de desenvolvimento do SRBR serviu como parte interessada intermediária do projeto, recebendo instruções da sede da Samsung e desenvolvendo novas atualizações para melhorar o modelo de Inteligência Artificial enquanto realizava testes para vários casos de uso.

“A fase de testes exigiu ampla comunicação e colaboração com as equipes de QA para otimizar a experiência do usuário, e cada ajuste exigiu mais testes e revisões”, afirma Leandro Flores de Moura, Gerente de Desenvolvimento de Software do SiDi.

“O sucesso dos recursos de linguagem do Galaxy AI se baseia tanto na comunicação e colaboração quanto no conhecimento técnico”, acrescenta Nathan Castro, desenvolvedor de testes de controle de qualidade da SiDi.

Um caminho para a cultura

O que torna o Galaxy AI particularmente interessante para todos os envolvidos é o fato de que este não foi apenas um projeto de linguagem. Para eles, a língua é um guia cultural que fornece informações valiosas sobre a herança e a identidade das pessoas.

“Para a equipe de QA do SiDi, este foi um empreendimento que mudará o mundo ao permitir que culturas se unam e superem a dificuldade de comunicação em diferentes idiomas”, acrescenta Estefanía Castro Suárez, Desenvolvedora de Testes do SiDi. “Saber que fizemos parte disso nos enche de orgulho e motivação”.

“A forma como a equipe do SRBR colaborou exemplifica o que o Galaxy AI pretende alcançar: tornar o mundo um lugar mais próximo através da comunicação, compartilhamento e interação com pessoas, mesmo aquelas que falam línguas diferentes”, conclui Pedroso. “Essa capacidade só crescerá à medida que mais idiomas forem incorporados ao Galaxy AI”.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

A Samsung continua inovando em experiências premium de Inteligência Artificial móvel. Por isso, a Samsung Newsroom continua sua visita a centros de pesquisa da Samsung ao redor do mundo para entender como o Galaxy AI¹ está capacitando mais pessoas a maximizarem seu potencial.

O Galaxy AI agora oferece suporte a 16 idiomas, permitindo que mais pessoas expandam suas habilidades linguísticas, mesmo offline, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete, Notas Inteligentes³ e Assistente de Navegação.

Mas o que está envolvido no desenvolvimento da linguagem de Inteligência Artificial? Na terceira parte desta série, visitamos o Vietnã para aprender como preparar os dados usados para treinar modelos de IA. Desta vez, exploramos como as equipes transformaram o Galaxy AI em uma oferta única para a China continental e Hong Kong.

O rápido crescimento das ferramentas de Inteligência Artificial que utilizam grandes modelos de linguagem (LLM) tem sido observado em todo o mundo. E a China não é exceção. Com o ERNIE Bot da Baidu e o MiracleVision da Meitu emergindo como escolhas populares na China, o Samsung R&D Institute China fez parceria com ambas as empresas para ajudar a construir recursos do Galaxy AI para o país.

O Samsung R&D Institute China, em Guangzhou (SRC-G) e Pequim (SRC-B), dedicou-se a garantir que os falantes de mandarim na China tivessem a mesma experiência com o Galaxy AI que outras pessoas ao redor do mundo, mesmo que a tecnologia de back-end parecesse muito diferente. A equipe aproveitou os recursos exclusivos de dialetos chineses de parceiros terceirizados e construiu uma solução do Galaxy AI exclusiva para a China.

“Temos a vantagem de combinar as melhores práticas globais com as práticas locais da China, bem como criar novos recursos e aprimorá-los constantemente por meio da comunicação diária com os consumidores chineses”, afirma Hairong Zhang, Líder do Grupo de Inovação de Software da SRC-G. “Com a rica experiência no desenvolvimento do Galaxy S24, estou orgulhoso de como nossa equipe colaborou com empresas chinesas locais de IA, como Baidu e Meitu, para fornecer uma solução que ressoe na China”.

No início, as equipes tiveram que se adaptar aos diferentes estilos de trabalho e resolver os problemas iniciais de assimetria de informações. Daijun Zhang, chefe do SRC-B, estabeleceu uma força-tarefa para garantir que o projeto continuasse o cronograma de desenvolvimento e avançasse rapidamente em direção aos seus objetivos.

Graças à experiência da equipe de Pequim na geração de modelos em grande escala e à colaboração bem-sucedida com parceiros terceirizados, todos os recursos de Inteligência Artificial generativa foram lançados com sucesso na China. O resultado é uma solução com relevância local e recursos específicos do mercado, como o Toque Para Pesquisar.

Expandindo o suporte para o dialeto cantonês

O suporte para o chinês na China continental (mandarim) foi integrado ao Galaxy AI com o lançamento do Galaxy S24, em janeiro de 2024. No entanto, o trabalho do Samsung R&D Institute China estava longe de terminar.

A equipe também foi encarregada de desenvolver o modelo de Inteligência Artificial para chinês em Hong Kong (cantonês), um dialeto que se baseia no trabalho já realizado para o mandarim, mas apresenta um conjunto inteiramente novo de recursos linguísticos para abordar.

Ao desenvolver para o cantonês, a equipe de P&D da China enfrentou grandes desafios culturais aos quais precisava responder para apoiar totalmente a localização para o mercado.

O primeiro fenômeno cultural é a divergência entre os sistemas de escrita e fala. Os habitantes de Hong Kong usam uma gramática e expressões semelhantes ao mandarim na escrita, mas adotam uma gramática coloquial completamente diferente ao se comunicarem diariamente. Além disso, o cantonês possui nove tons de pronúncia, em comparação com os quatro tons do mandarim.

Outro fenômeno cultural é o desenvolvimento contínuo do próprio dialeto cantonês ao longo do tempo. Acrescente a isso o fato de que as pessoas muitas vezes misturam cantonês e inglês durante as conversas, e fica claro porque foi complicado criar casos de teste e validar pacotes de idiomas.

“O cantonês é um dialeto único que varia em diferentes regiões de língua cantonesa”, diz Jing Li, que lidera a operação de teste da solução de Inteligência Artificial cantonesa. “Algumas gírias, frases, vocabulário e até mesmo tons variam de um lugar para outro. Portanto, realizamos um grande trabalho na verificação dos dados específicos de Hong Kong, bem como na revisão de dezenas de milhares de casos de teste relevantes”.

Com essas complexidades em mente, o SRC-G e o SRC-B trabalharam juntos para oferecer suporte a uma combinação profunda de códigos usando uma mistura de cantonês e inglês para reconhecimento de fala, suportando simultaneamente expressões escritas e faladas na tradução automática e refletindo as pronúncias atuais na síntese de fala.

Impacto cultural da comunicação

Quando o Galaxy AI lançou a opção de idioma chinês (Hong Kong), o feedback das pessoas mostrou que o trabalho árduo da equipe de P&D da Samsung era justificado.

Tanto para a China continental quanto para Hong Kong, as atividades do Galaxy AI da Samsung destacam a importância de uma marca global ter presença e experiência local, além do poder da colaboração aberta com outras organizações. Em Hong Kong, o cantonês é uma parte fundamental da identidade cultural de seus habitantes. Por isso, acertar o modelo de linguagem de Inteligência Artificial era tão crucial para a equipe.

“A linguagem e a comunicação são cruciais em todas as regiões e em todas as esferas da vida”, afirma Henry Wat, Chefe do Grupo de Engenharia da Samsung Electronics Hong Kong. “Não importa o idioma, qualquer ferramenta que ajude as pessoas a se comunicarem é inestimável. Acredito que nosso trabalho seja significativo”.

No próximo episódio da série “A Curva de Aprendizagem”, iremos ao Brasil para ver como uma equipe trabalha através de culturas e fronteiras para levar o Galaxy AI a mais pessoas.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

A Samsung inova em experiências móveis premium de Inteligência Artificial. Para saber como o Galaxy AI¹ está maximizando o potencial das pessoas, a Samsung Newsroom tem visitado os centros da Samsung Research em todo o mundo.

Com suporte para 16 idiomas, o Galaxy AI permite que mais pessoas expandam seus recursos linguísticos, mesmo estando off-line, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete, Notas Inteligentes³ e Assistente de Navegação.

Recentemente, a Samsung Newsroom foi até a Jordânia para aprender as complexidades do desenvolvimento de um modelo de Inteligência Artificial para o árabe, uma língua com muitos dialetos. Desta vez, fomos ao Vietnã para explorar como os dados são preparados para treinar modelos de IA.

Qual é a diferença entre um fantasma, um túmulo e uma mãe em vietnamita? Resposta: muito pouca, especialmente para uma língua falada por 97 milhões de pessoas em todo o mundo. Cada palavra se traduz como “ma”, “mả” e “má”, respectivamente – e só pode ser distinguida pelo tom. Isto ilustra como pode ser difícil para os modelos de Inteligência Artificial aprender uma língua, considerando que não conseguem reconhecer em primeira mão o contexto e as emoções das conversas, nem as intenções de quem fala.

O Instituto Samsung P&D Vietnã (SRV) usou dados refinados para ajudar seu modelo de Inteligência Artificial a reconhecer adequadamente até mesmo as diferenças mais sutis do idioma.

A qualidade dos dados usados afeta diretamente a precisão do reconhecimento automático de fala (ASR), da tradução automática neural (NMT) e da conversão de texto em fala (TTS) — processos que auxiliam os recursos do Galaxy AI, como Tradução Simultânea, Intérprete, Assistente de Digitação e Assistente de Navegação a quebrar as barreiras linguísticas.

Um tufão de desafios

“O vietnamita é uma língua complexa e diversificada, com expressões ricas, muitas das quais são difíceis de capturar”, afirma Ngô Hồng Thái, Líder NMT no SRV. Dos 16 idiomas habilitados pelo Galaxy AI, o vietnamita foi particularmente difícil de desenvolver.

“Particularmente, criar um modelo de IA para os vietnamitas foi mais assustador do que os nossos tufões!”, acrescenta, antes de explicar os obstáculos enfrentados durante o processo de desenvolvimento.

O vietnamita é uma língua tonal com seis tons distintos. Como é evidente no exemplo “ma” acima, pequenas nuances na vocalização podem alterar drasticamente o significado das palavras. Portanto, era necessária uma abordagem meticulosa e detalhada.

“Quando palavras com sons semelhantes são divididas, uma palavra consiste em vários segmentos curtos, ou ‘conjuntos de quadros’”, diz Bui Ngoc Tung, Líder ASR do SRV. “O modelo de Inteligência Artificial diferencia os quadros de áudio curtos de cerca de 20 milissegundos para reconhecer quais palavras correspondem a um determinado conjunto de quadros consecutivos. Assim, é fundamental colocar um grande esforço nas fases iniciais do processo de aprendizagem da IA”.

Além disso, homófonos e homônimos são comuns em vietnamita. As pessoas normalmente podem confiar no contexto e em elementos não-verbais nas conversas para diferenciar palavras que têm o mesmo som ou são escritas da mesma forma, mas têm significados diferentes. No entanto, os modelos de Inteligência Artificial precisam ser ensinados a identificar e diferenciar com precisão tons e palavras semelhantes.

“Esta não é uma tarefa simples”, explica Thái. “Além da quantidade, os dados precisam ser precisos para garantir que sejam capazes de reconhecer as nuances linguísticas que existem no idioma vietnamita”.

Uma preparação exigente

O processo de refinamento de dados consiste em três etapas. Primeiro, o áudio e o texto usados para treinar o modelo de Inteligência Artificial devem ser revisados e corrigidos. Em seguida, esse conjunto de dados passa por verificações aleatórias de qualidade geral. Finalmente, o conjunto de dados é normalizado e limpo antes de ser usado no treinamento.

“Realizamos minuciosamente uma série de testes para verificar a precisão do nosso conjunto de dados”, disse Nguyen Manh Duy, Líder TTS no SRV que supervisiona a criação do banco de dados. “Enfrentamos uma série de problemas inesperados, incluindo palavras com erros ortográficos em scripts e ruído de fundo ou pronúncia incorreta durante gravações de áudio. Passamos um tempo significativo refinando e melhorando nossos dados de treinamento”.

Além dos desafios linguísticos únicos no vietnamita, há uma falta de dados universalmente acessíveis em comparação com as línguas mais faladas. “Esta é outra razão pela qual a etapa de refinamento dos dados é tão importante”, acrescenta. “Como tínhamos fontes limitadas, todos os dados tinham que ser totalmente confiáveis. Não havia margem para erro”.

Além disso, o modelo de Inteligência Artificial para vietnamitas deve considerar diferenças tonais e regionais. Para melhorar a precisão do modelo de IA, a equipe coletou grandes quantidades de dados com os sotaques do norte, centro e sul do Vietnã — resultando em uma enorme quantidade de informações para refinar e verificar.

Aperfeiçoamento contínuo

Os desenvolvedores do SRV concluíram o projeto após meses de trabalho árduo, e o vietnamita se tornou um dos primeiros idiomas a ser habilitado pelo Galaxy AI. Apesar deste sucesso, a equipe está trabalhando incessantemente para melhorar a experiência vietnamita do Galaxy AI.

“Continuamos a aprimorar o modelo de Inteligência Artificial incorporando feedback das pessoas sobre a relevância de palavras e frases no Galaxy AI”, disse Tran Tuan Minh, Líder do Projeto de Desenvolvimento de Linguagem de IA no SRV. “Acabamos de dar os primeiros passos em direção a um mundo mais aberto – e temos muito mais para explorar juntos”.

No próximo episódio da série “A Curva de Aprendizagem”, iremos à China para nos aprofundarmos em como os modelos de Inteligência Artificial são treinados e ajustados.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

A primeira parte desta série mostrou como é possível determinar quais dados são necessários na construção da IA. Agora, vamos analisar a complexa tarefa de lidar com diversos dialetos.

Ensinar um idioma a um modelo de Inteligência Artificial é um processo complexo. Porém, como seria se o idioma não for singular, e sim um conjunto de diversos dialetos?

Esse foi o desafio enfrentado pela equipe do Samsung R&D Institute Jordan (SRJO). Embora o árabe tenha sido adicionado como opção de idioma para recursos do Galaxy AI, como Tradução Simultânea², a equipe teve que lidar com os diversos dialetos árabes que abrangem o Oriente Médio e o Norte da África, cada um com variações de pronúncia, vocabulário e gramática.

O árabe é um dos seis idiomas mais falados em todo o mundo, usado diariamente por mais de 400 milhões de pessoas³. O idioma é classificado de duas formas: Fus’ha (árabe padrão moderno) e Ammiya (os dialetos do árabe). Fus’ha é empregado normalmente em eventos públicos e oficiais, bem como em transmissões de notícias, enquanto Ammiya é mais comum em conversas cotidianas. Mais de 20 países usam o árabe e, atualmente, existem cerca de 30 dialetos na região.

Regras não escritas

Reconhecendo a variação apresentada por esses dialetos, a equipe do SRJO empregou uma série de técnicas para discernir e processar as características linguísticas únicas inerentes a cada um. Essa abordagem foi crucial para garantir que o Galaxy AI conseguisse compreender e responder de forma precisa às nuances regionais.

“Em contraste com outros idiomas, a pronúncia do objeto em árabe varia dependendo do sujeito e do verbo na frase”, explica Mohammad Hamdan, líder do projeto da equipe de desenvolvimento de idiomas árabes. “Nosso objetivo é desenvolver um modelo que entenda todos esses dialetos e consiga responder em árabe padrão”.

O TTS é o componente do recurso de Tradução Simultânea do Galaxy AI que permite às pessoas interagir com falantes de diferentes idiomas, traduzindo palavras faladas em texto escrito e, em seguida, reproduzindo-as por voz. A equipe de TTS enfrentou um desafio único, devido à peculiaridade de trabalhar com o árabe.

O árabe usa diacríticos, que são guias para a pronúncia de palavras em alguns contextos, como artigos religiosos, poesia e livros para alunos de idiomas. Os diacríticos são amplamente compreendidos pelos falantes nativos, mas estão ausentes na escrita cotidiana. Isso torna difícil para uma máquina converter texto bruto em fonemas, as unidades básicas de som que são os blocos de construção da fala.

“Há uma escassez de conjuntos de dados confiáveis e de alta qualidade que representem com precisão como os diacríticos são usados corretamente”, explica Haweeleh “Tivemos que projetar um modelo neural capaz de prever e restaurar os diacríticos ausentes com alta precisão”.

Os modelos neurais funcionam de forma semelhante aos cérebros humanos. Para prever diacríticos, um modelo precisa estudar muitos textos em árabe, aprender as regras do idioma e entender como as palavras são usadas em diferentes contextos. Por exemplo, a pronúncia de uma palavra pode variar muito dependendo da ação ou do gênero que ela descreve. O treinamento extensivo da equipe foi fundamental para melhorar a precisão do modelo TTS árabe.

Melhorando a compreensão

A equipe do SRJO também precisou coletar diversas gravações de áudio dos dialetos de várias fontes, que tiveram que ser transcritas, com foco específico em capturar os sons, palavras e frases únicas de cada dialeto.

“Reunimos uma equipe de falantes nativos dos dialetos com um profundo conhecimento das nuances e variações”, explicou Ayah Hasan, cuja equipe foi responsável pela criação do banco de dados. “Eles ouviram as gravações e converteram manualmente as palavras faladas em texto”.

Este trabalho foi fundamental para aprimorar o processo de Reconhecimento Automático de Fala (ASR), permitindo que o Galaxy AI lidasse de forma eficaz com a rica diversidade de dialetos árabes. O ASR desempenha um papel crucial ao possibilitar recursos de compreensão e resposta em tempo real da Galaxy AI.

“Desenvolver um sistema ASR que suporte vários dialetos em um único modelo é uma tarefa exigente”, afirma Hamdan. “Isso requer um entendimento profundo das complexidades linguísticas, uma seleção criteriosa de dados e o uso de técnicas avançadas de modelagem”.

O ápice da inovação

Após meses de planejamento, construção e testes, a equipe estava pronta para lançar o árabe como opção de idioma para o Galaxy AI, permitindo que um número significativamente maior de pessoas se comunicasse além das fronteiras linguísticas.

Essa equipe pioneira tornou os serviços Galaxy AI acessíveis aos falantes de árabe, diminuindo as barreiras linguísticas e culturais entre eles e as pessoas ao redor do mundo. Ao fazê-lo, estabeleceram novas e melhores práticas que podem ser implementadas globalmente. Entretanto, este sucesso é apenas o começo: a equipe continua a refinar seus modelos e a melhorar a qualidade dos recursos linguísticos do Galaxy AI.

No próximo episódio da série “A Curva de Aprendizagem”, iremos ao Vietnã para ver como a equipe está aprimorando os dados linguísticos. Além disso, o que é necessário para treinar um modelo de IA eficaz?

O árabe é apenas uma parte dos idiomas e dialetos recentemente suportados pelo Galaxy AI e disponíveis para download nas Configurações do smartphone. Os recursos linguísticos do Galaxy AI, como Tradução Simultânea e Intérprete, estão acessíveis em dispositivos Galaxy que tenham a atualização One UI 6.1⁴ da Samsung.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ UNESCO, Dia Mundial do idioma Árabe 2023, https://www.unesco.org/en/world-arabic-language-day.

⁴ A atualização One UI 6.1 foi lançada pela primeira vez em dispositivos da linha Galaxy S24 com uma implementação mais ampla para outros dispositivos Galaxy, incluindo linha S23, S23 FE, linha S22, linha S21, Z Fold5, Z Fold4, Z Fold3, Z Flip5, Z Flip4, Z Flip3, linha Tab S9 e linha Tab S8.

À medida que a Samsung segue inovando em experiências móveis premium de Inteligência Artificial, visitamos centros da Samsung Research em todo o mundo para saber como o Galaxy AI¹ está permitindo a todos maximizar o seu potencial.

O Galaxy AI oferece atualmente suporte a 16 idiomas, para que mais pessoas possam expandir seus recursos linguísticos, mesmo off-line, graças à tradução no dispositivo em recursos como Tradução Simultânea², Intérprete, Notas Inteligentes³ e Assistente de Navegação.

Mas o que implica o desenvolvimento da linguagem de Inteligência Artificial? Nesta série, “A Curva de Aprendizagem”, vamos examinar os desafios de trabalhar com IA móvel e como superamos essas limitações. Nesta primeira parte, fomos para a Indonésia saber como se começa a ensinar a Inteligência Artificial a falar um novo idioma.

O primeiro passo é estabelecer metas, segundo a equipe do Samsung P&D Institute Indonesia (SRIN). “Uma Inteligência Artificial excelente começa com dados relevantes e de boa qualidade. Cada idioma exige uma maneira diferente de processar, então nos aprofundamos para entender as necessidades linguísticas e as condições únicas do nosso país”, diz Junaidillah Fadlil, Head de IA da SRIN, cuja equipe recentemente habilitou suporte ao Bahasa Indonesia (língua indonésia) para o Galaxy AI. “O desenvolvimento de idiomas locais deve ser liderado por insights e ciência. Portanto, todo processo para adicionar idiomas ao Galaxy AI começa com o planejamento de quais informações precisamos e podemos obter de forma legal e ética”.

Os recursos do Galaxy AI, como Tradução Simultânea, executam três processos principais: reconhecimento automático de fala (ASR, sua sigla em inglês); tradução automática neural (NMT, sua sigla em inglês); e conversão de texto em fala (TTS, sua sigla em inglês). Cada processo precisa de um conjunto distinto de informações.

O ASR, por exemplo, precisa de gravações extensas de fala em vários ambientes, cada uma acompanhada de uma transcrição de texto precisa. Os níveis variados de ruído de fundo ajudam a explicar os diferentes ambientes.

“Não basta apenas adicionar ruídos às gravações”, explica Muchlisin Adi Saputra, líder de ASR da equipe. “Além dos dados de idioma que obtivemos de parceiros terceirizados autorizados, devemos ir a cafeterias ou ambientes de trabalho para gravar nossas próprias vozes. Isso nos permite capturar autenticamente sons únicos da vida real, como pessoas gritando ou o barulho de teclados”.

A natureza de constante mudança das línguas também deve ser considerada. Saputra acrescenta: “Precisamos nos manter atualizados com as gírias mais recentes e como elas são usadas, e principalmente as encontramos nas redes sociais”.

Em seguida, a NMT exige dados de treinamento de tradução. “Traduzir Bahasa Indonesia é um desafio”, diz Muhamad Faisal, líder da equipe de NMT. “Seu uso extensivo de significados contextuais e implícitos depende de indicativos sociais e situacionais, por isso precisamos de numerosos textos traduzidos para que a IA possa consultar novas palavras, palavras estrangeiras, nomes próprios e expressões idiomáticas– qualquer informação que ajude a IA a compreender o contexto e as regras de comunicação”.

A TTS requer gravações que cubram uma variedade de vozes e tons, com contexto adicional sobre como partes das palavras soam em diferentes circunstâncias. “Boas gravações de voz poderiam fazer metade do trabalho e cobrir todos os fonemas (unidades de som na fala) necessários para o modelo de IA”, acrescenta Harits Abdurrohman, líder de TTS. “Se um dublador fez um ótimo trabalho na fase anterior, o foco muda para refinar o modelo de IA para pronunciar palavras específicas com clareza”.

Juntos somos mais fortes

São necessários vastos recursos para planejar muitos dados e a SRIN trabalhou em estreita colaboração com especialistas em linguística.

“Este desafio requer criatividade, desenvoltura e experiência tanto em Bahasa Indonesia quanto em aprendizagem automática”, reflete Fadlil. “A filosofia de colaboração aberta da Samsung desempenhou um papel importante na realização do trabalho, assim como a nossa escala de operações e história de desenvolvimento de IA”.

Trabalhando com outros centros da Samsung Research em todo o mundo, a equipe da SRIN conseguiu adotar rapidamente as melhores práticas e superar as complexidades do estabelecimento de metas de dados.

Além disso, a colaboração foi benéfica para o avanço não só da tecnologia, mas também da cultura. Quando a equipe do SRIN se juntou aos seus correspondentes em Bangalore, na Índia, observaram os costumes locais de jejum, criando ligações mais profundas e expandindo a sua compreensão de diferentes culturas.

Para a equipe, o projeto de expansão linguística do Galaxy AI assumiu um novo significado. “Estamos particularmente orgulhosos das nossas conquistas aqui, pois este foi o nosso primeiro projeto de IA e não será o último, à medida que continuemos refinando os nossos modelos e melhorando a qualidade dos resultados”, conclui Fadlil. “Esta expansão não só reflete os nossos valores de abertura, mas também respeita e incorpora as nossas identidades culturais através da linguagem”.

No próximo episódio desta série “A Curva de Aprendizagem”, iremos ao Samsung P&D Institute Jordan para falar com a equipe que liderou o projeto de língua árabe do Galaxy AI.

Fique ligado na Samsung Newsroom Brasil para conhecer mais sobre as complexidades de construir e treinar um modelo de Inteligência Artificial para um idioma com diversos dialetos.

¹ Galaxy AI é a inteligência artificial da Samsung. A Samsung não faz promessas ou garantias quanto à precisão, completude ou confiabilidade das saídas fornecidas pelas funcionalidades de IA. O login na conta Samsung pode ser necessário para usar determinadas funcionalidades de IA da Samsung.

² Tradução Simultânea requer uma conexão de rede e login na conta Samsung. A Tradução Simultânea está disponível apenas no aplicativo Samsung Phone pré-instalado. Certos idiomas podem exigir o download de pacotes de idiomas. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.

³ O recurso Notas Inteligentes requer uma conexão de rede e login na conta Samsung. Existe um limite de caracteres. A disponibilidade do serviço pode variar conforme o idioma. A precisão dos resultados não é garantida.