[Entrevista] Inovação no som conduzida por Inteligência Artificial: redefinindo a experiência de áudio da TV

Não é segredo que a Samsung Electronics — líder global na fabricação de TVs por 17 anos consecutivos — também tem uma forte presença no mercado de soundbars, ostentando um impressionante reinado de nove anos desde 2013. O segredo do sucesso da Samsung está em uma equipe dinâmica de engenheiros inovadores que são pioneiros na forma como as pessoas consomem conteúdo. No centro dessa mudança está o avanço da Samsung na tecnologia de inteligência artificial (IA) e no uso da IA para melhorar a qualidade do som e da imagem em suas telas.

Após a primeira parte desta série sobre a importância da inovação de hardware na obtenção da qualidade de som premium, a Samsung Newsroom sentou-se com seus engenheiros mais uma vez para examinar de perto os notáveis ​​recursos de IA da Samsung que ajudaram a criar uma experiência de som de última geração.

Abraçando a IA para a perfeição sonora: ajustando seu som ao seu ambiente

“Ironicamente, não me lembro de engenheiros de som interessados ​​em IA no início, quando começamos a ver um boom na tecnologia”, disse Sunmin Kim, Líder do Sound Device Lab, Visual Display Business da Samsung Electronics. Mas com a intuição de que a IA poderia ajudar a melhorar o som da TV, o Sound Device Lab decidiu começar, há cerca de seis anos, a explorar essa tecnologia e suas aplicações em sistemas de som.

Então, ocorreu uma mudança. Com o advento da Unidade de Processamento Neural (NPU) e a sua aplicação nas principais TVs da Samsung, as possibilidades de aplicação da tecnologia de IA ao áudio da TV foram desbloqueadas. A equipe acelerou o aprendizado de máquinas para suas TVs, o que levou a sucessos iniciais significativos. Kim afirma que está confiante de que a IA elevou e continuará a elevar exponencialmente a experiência de visualização, melhorando o som da TV de inúmeras e profundas maneiras.

▲ “A IA desempenha um papel crítico na melhoria da experiência do usuário em nossas telas”, disse Kim.

Os aplicativos avançados de IA da Samsung incluem um algoritmo de aprendizado profundo que distingue e separa a voz principal na tela de outros sons. Antes, um recurso de equalizador simplesmente ajustava os sons agudos, médios e graves dentro da faixa de frequência audível pelos humanos – aproximadamente 20 a 20.000 Hz – para melhorar a qualidade do som. As TVs e telas 2023 vão além, fornecendo detalhes maiores e mais profundos, analisando o conteúdo cena por cena e acentuando vários elementos de áudio, incluindo vozes humanas, música de fundo e efeitos sonoros. Além disso, esse processo de otimização ocorre nos bastidores para que os usuários possam desfrutar de um som ideal sem esforço.

SpaceFit Sound: adaptando o áudio ao seu espaço

O ambiente auditivo e suas propriedades acústicas devem ser considerados para otimizar verdadeiramente o som das TVs. As TVs mais recentes da Samsung vêm com o recurso SpaceFit Sound, que utiliza a tecnologia de IA para avaliar os ambientes ao redor e garantir que o som seja ajustado adequadamente. O recurso utiliza o microfone embutido da TV para identificar automaticamente vários fatores presentes na sala, como a distância entre a TV e a parede, bem como as propriedades acústicas da sala, para medir a reflexão do som da TV. A Inteligência Artificial é usada para melhorar o som de acordo com o ambiente.

“Através de pesquisas e análises contínuas, encontramos certos padrões de frequência que são mais suscetíveis a mudanças com base no ambiente de um dispositivo, impactando potencialmente a qualidade do som da TV”, disse Kibeom Kim. “O microfone integrado identifica alterações nas propriedades acústicas e no som causadas por fatores como um carpete ou uma sala vazia para otimizar o som independentemente da localização da TV.”

“Tradicionalmente, as TVs usam um conjunto de sons dedicados para verificar o som através do microfone. O SpaceFit Sound, por outro lado, utiliza conteúdo real para analisar ambientes de visualização e modifica o som de acordo”, explicou Kim. “A tecnologia foi projetada não apenas para cenários reais, mas também para circunstâncias em tempo real, pois o recurso ajusta o som de forma automática e conveniente.”

▲ O SpaceFit Sound da Samsung se tornou a primeira tecnologia do setor a obter a certificação Spatial Sound Optimization da VDE.

Em reconhecimento à dedicação da empresa à inovação e ao design centrado no usuário, o SpaceFit Sound da Samsung também se tornou a primeira tecnologia de áudio a receber a certificação Spatial Sound Optimization da Verband Deutscher Elektrotechniker (VDE) em 2021.

Sincronia Sonora 3.0: aproveitando a hiperconectividade para um som tridimensional

Seja em telas maiores ou acústica mais profunda, os espectadores de hoje desejam mais experiências cinematográficas. A Sincronia Sonora é uma tecnologia própria da Samsung que orquestra uma interação harmoniosa entre os alto-falantes de uma TV e a soundbar conectada, resultando em uma experiência de áudio mais rica e vibrante. Como o nome sugere, o recurso permite que duas saídas de áudio sejam sincronizadas, semelhante a um concerto cuidadosamente conduzido, criando um palco sonoro imersivo e unificado. Mais especificamente, a soundbar reproduz os canais de áudio primários, enquanto os alto-falantes da TV adicionam sons de fundo e surround para criar uma experiência de áudio dinâmica e tridimensional.

Apesar da aparente simplicidade do conceito, a Sincronia Sonora utiliza uma ampla gama de tecnologias de IA para produzir e sincronizar sons com tanta precisão. Quaisquer lacunas nos níveis de som entre os alto-falantes da TV e a soundbar devem ser sincronizadas com precisão para evitar ecos indesejados e obter uma harmonia de áudio perfeita. Ao longo dos anos, os engenheiros da Samsung trabalharam incansavelmente para refinar essa tecnologia.  A Sincronia Sonora 1.0, que originalmente utilizava os alto-falantes superiores da TV, evoluiu para a Sincronia Sonora 2.0, que controla todos os alto-falantes com tecnologia de separação de canais aprimorada para maior sensação de profundidade e imersão.

A mais recente Sincronia Sonora 3.0 leva o som para o próximo nível, integrando o processador neural e a tecnologia de separação de voz em tempo real baseada em IA. Esse recurso avançado da Sincronia Sonora fornece som tridimensional, distinguindo e otimizando vários elementos de áudio, incluindo vozes, música de fundo e efeitos sonoros com base no tipo de conteúdo e nas configurações de volume dos usuários. O som resultante é uma replicação perfeita da faixa de áudio pretendida pelos criadores.

O algoritmo AI da Samsung também pode pegar os sinais de entrada e reproduzi-los em vários canais, seja na soundbar ou em todos os alto-falantes da TV, personalizando cada canal para sons poderosos e dinâmicos. Além do conteúdo com Dolby Atmos ou áudio de 5.1 canais, o conteúdo com canais estéreo regulares também pode ser processado para criar 20 canais individuais. Isso significa que qualquer mídia pode ser entregue com qualidade de som excepcionalmente envolvente em TVs e soundbars da Samsung.

▲ “A Sincronia Sonora é um algoritmo revolucionário da Samsung que pode sincronizar magistralmente o volume e o tempo do áudio em perfeita harmonia”, disse Kim.

“O som oferecido pela Sincronia Sonora é tão envolvente que os espectadores se sentem fisicamente presentes no set, com tantos sons de fundo diferentes ganhando vida através desse recurso”, disse Kim.

Unificando experiências de imagem e som para experiências de visualização ideais

Hoje, a IA está no centro da estratégia de áudio da Samsung, com seus aplicativos abrangendo diversos produtos. Esta adoção generalizada da IA ​​resultou em funcionalidades como a Sincronia Sonora e o SpaceFit Sound que enriquecem a experiência de áudio, juntamente com outras tecnologias de áudio que dão vida ao conteúdo através do diálogo e do movimento. Recursos adicionais incluem Active Voice Amplifier, que ajusta e melhora a clareza do diálogo tendo em mente o alto-falante e o ruído ambiente, Human Tracking Sound, que reproduz dinamicamente o som com base na posição do alto-falante na tela, e o OTS Pro que cria uma paisagem sonora dinâmica baseada no movimento de objetos ou do alto-falante na tela.

Esses recursos são o resultado de duas tecnologias simbióticas de IA: um modelo de análise de conteúdo e um modelo de separação de som. Os processadores neurais trabalham com pistas auditivas e visuais, entre outros sinais, para criar a experiência de áudio perfeita que sincroniza com o que está acontecendo na tela. Apesar da complexidade desse processo, a Samsung conseguiu dar vida a esses recursos formando uma equipe interdepartamental de engenheiros e reunindo recursos em imagem, som e outros departamentos.

O futuro do som: remodelando as experiências de áudio com o laboratório de dispositivos de som da Samsung

▲ (Da esquerda) Seongsu Park, Sunmin Kim e Kibeom Kim no Sound Device Lab estão em uma missão para capturar o áudio exatamente como os artistas pretendem ser ouvidos.

No Sound Device Lab, há um objetivo claro e inabalável que orienta todas as inovações: recriar o som original tão próximo quanto os artistas pretendiam, com os consumidores em primeiro lugar. A IA é uma ferramenta crítica que permite à Samsung fazer isso.

Sunmin Kim, que dirige o Sound Device Lab, acredita que o som é apenas um lado da moeda: “O foco na qualidade do som é um dado, mas todas as inovações que fizeram avanços vieram do design voltado para o usuário. As configurações e recursos de som precisam ser diretos e fáceis de usar”.

Seongsu Park observou que 70% do som da TV vem do produto, enquanto os 30% restantes são moldados pelo espaço em que o som é reproduzido: “Nossos produtos continuarão a alavancar os mais recentes sistemas de medição e algoritmos de IA para analisar as configurações de espaço e som para uma qualidade de som ideal”.

Em uma nota final, Kibeom Kim também compartilhou a ambição do Sound Lab na era das experiências sonoras de vários dispositivos iniciadas pelo recurso de Sincronia Sonora: “Há um potencial ilimitado na Sincronia Sonora para produzir áudio que funcione em perfeita harmonia. Continuaremos a melhorar a conectividade entre dispositivos e aprimorar o recurso para nossos usuários”.

A Samsung está empenhada em oferecer experiências premium aos consumidores, priorizando suas necessidades por meio de produtos inovadores. Com um forte histórico como líder de mercado por 17 anos consecutivos, a Samsung continuará aprimorando a experiência de visualização e impulsionando a inovação sonora.