[Interview] Concevoir avec l’utilisateur en tête : comment la Gomme Audio a été développée

Imaginez que vous réalisiez une vidéo avec votre smartphone, mais que les bruits ambiants la rendent inexploitable.

La Gomme Audio, introduite avec la série Galaxy S25, a été conçue pour répondre à de telles situations en réduisant les bruits de fond indésirables et en améliorant les sons souhaités pour créer des vidéos plus immersives. Cette fonction a été développée grâce aux efforts proactifs des équipes de Samsung Research et de la division Mobile eXperience (MX) de Samsung Electronics.

Entretien avec des experts en technologie audio de l’équipe AI Solution de Samsung Research pour en savoir plus sur le développement de cette fonction innovante.

▲ (De gauche à droite) Kyoungbo Min, Hejung Yang, Hosang Sung et Jiwon Kim de l’équipe AI Solution au sein de Samsung Research

Détection de la source : L’avenir de la technologie audio nouvelle génération

La Gomme Audio permet de filtrer les bruits indésirables d’une vidéo en analysant la vidéo pour détecter et séparer les sons selon différentes catégories. Cette fonction peut être utilisée à la fois sur les vidéos réalisées par l’utilisateur, mais aussi sur celles qui.

A l’image de l’Effaceur d’Objet, lancé en 2021 avec la Série Galaxy S21 pour faciliter la retouche d’images, la Gomme Audio a été développé pour offrir une expérience multimédia plus avancée et fluide à la fois pour l’audio et la vidéo.

Développement de modèles de détection et de séparation des sources sonores

Gomme Audio reconnaît six types de sons : voix, musique, vent, bruits de la nature, bruits de foule et bruits ambiants. Grâce à la technologie de détection des sources sonores, la fonction identifie rapidement les sons présents et le moment où ils se produisent dans une vidéo. Ensuite, grâce à la technologie de séparation des sources sonores, elle isole et classe chaque son dans des catégories distinctes.

Pour créer des modèles d’IA capables de détecter et d’isoler ces types de sons, l’équipe de recherche a commencé par collecter un large ensemble de données d’entraînement. Elle a ensuite simulé de nombreux scenarii d’enregistrement vidéo du monde réel pour générer divers ensembles de données audio et s’est rendue sur le terrain pour capturer directement les sons de la vie quotidienne.

« Le vent était particulièrement difficile à traiter », a déclaré Hejung Yang, de l’équipe AI Solution de Samsung Research. « En plus d’affiner notre technologie de simulation du vent, nous avons amélioré notre ensemble de données en enregistrant les sons réels du vent à l’extérieur chaque fois que des vents forts se produisaient – même après le travail ou pendant les week-ends. »

En outre, l’équipe a consacré beaucoup de temps à l’amélioration des performances du modèle de séparation des sources sonores en examinant attentivement de nombreuses vidéo.

« Chaque développeur a comparé et analysé plus de 1 000 échantillons audio chaque semaine dans des conditions variées », a déclaré Jiwon Kim. “Grâce à une expérimentation continue, nous avons identifié le modèle de séparation des sources sonores le plus efficace pour garantir des résultats cohérents et de haute qualité.

▲ Les chercheurs Samsung travaillant sur la Gomme Audio.

Offrir une nouvelle expérience d’écoute centrée sur l’utilisateur

La Gomme Audio étant embarquée sur l’appareil, elle offre une expérience utilisateur améliorée avec une édition en temps réel tout en garantissant le respect de la vie privée. L’expertise de longue date de Samsung dans le développement de capacités d’IA embarquée a joué un rôle clé dans le succès de la Gomme Audio.

« Nous nous sommes concentrés sur le développement de modèles et d’algorithmes d’IA capables d’un traitement rapide sur l’appareil », a déclaré Hosang Sung. « Nous avons consacré beaucoup d’efforts à la création d’une solution d’IA optimisée qui fonctionne en douceur et consomme peu d’énergie. »

Soutenu par une solide infrastructure de recherche en IA, Samsung Research continue de renforcer ses capacités en matière de technologies audio avancées.

« Nous nous engageons à développer des solutions de nouvelle génération qui améliorent la convivialité des appareils mobiles », a déclaré Hoonyoung Cho, vice-président et chef de l’équipe des solutions d’IA chez Samsung Research. « Grâce aux technologies de contrôle et d’amélioration du son, nous visons à offrir une expérience d’écoute véritablement sélective et personnalisée. »

Collaboration intégrée avec les équipes de développement de produits

La transformation d’une recherche avancée en une solution prête à l’emploi a posé de nouveaux défis. Par exemple, lors du montage vidéo et audio simultané, la lecture devait rester fluide et ininterrompue. En outre, le traitement de vidéos de plus d’une heure nécessitait une technologie spécialisée capable d’effectuer la tâche dans le même délai.

Pour relever ces défis, les équipes Samsung Research et Mobile eXperience ont travaillé ensemble – en proposant des idées centrées sur l’utilisateur, en testant à plusieurs reprises des techniques d’optimisation logicielle et en évaluant la qualité audio. Ensemble, ils ont exploré de multiples approches pour déterminer la solution la plus efficace.

Cette collaboration avait déjà fait ses preuves lors du développement de la série Galaxy Buds3. À mesure que les besoins d’écoute dans des environnements bruyants augmentent – qu’il s’agisse de musique, d’expériences multimédia ou d’appels téléphoniques plus clairs – la suppression active du bruit (ANC) est devenue une fonction de plus en plus essentielle dans les écouteurs sans fil. Samsung a relevé la barre en développant sa propre technologie ANC. La série Galaxy Buds3 s’adapte aux conditions d’ajustement des différents utilisateurs et aux changements d’ajustement causés par un port prolongé afin d’offrir une performance ANC optimisée.

Les écouteurs étant portés directement dans l’oreille, une coordination étroite entre les équipes matérielles et logicielles était essentielle pour finaliser le développement du produit et mettre au point la technologie ANC.

« Nous avons développé plusieurs algorithmes à l’avance pour répondre aux différentes conditions matérielles », a déclaré Kyoungbo Min. « Grâce à des simulations approfondies, nous avons conçu une solution qui pouvait être rapidement adaptée à n’importe quel type de puces ou appareil. Le processus de développement a impliqué des révisions et des améliorations itératives, mais la collaboration étroite entre les équipes de recherche avancée et les équipes de produits a permis d’accélérer la commercialisation. »

La séparation des sources sonores est un domaine essentiel de la technologie audio de la prochaine génération, et Samsung continue de faire progresser ses innovations fondamentales dans ce domaine. Avec Gomme Audio qui utilise pleinement la séparation des sources sonores, l’entreprise se prépare à développer une série de nouvelles applications. L’évolution continue de Galaxy AI devrait offrir aux consommateurs des fonctions encore plus pratiques et intuitives.