Si ces deux fonctionnalités proposent des expériences différentes, elles sont toutes deux le fruit d’un travail associant recherche technologique, développement de nouvelles fonctionnalités et conception de l’expérience utilisateur.

Dans le cadre de la série « Dans les coulisses des innovations photo de la série Galaxy Z Fold8 », Samsung Newsroom a rencontré des experts de Samsung Research et de la division Mobile eXperience (MX) afin de revenir sur les défis technologiques rencontrés et la collaboration qui a permis de donner vie à ces nouvelles expériences.

Depuis le lancement de la série Galaxy Z Fold8, une fonctionnalité suscite particulièrement l’intérêt des fans de K-pop : le Recadrage dynamique. Son principe est simple : une fois une personne sélectionnée dans une vidéo, la fonctionnalité suit automatiquement ses mouvements tout au long de la séquence.

▲ Le Recadrage dynamique sur Galaxy Z Fold8

Qu’il s’agisse de mettre en avant son artiste préféré pendant un concert ou un proche dans une scène du quotidien, le Recadrage dynamique permet de placer facilement la personne de son choix au centre de la vidéo.

▲ De gauche à droite : Sherry Hong, Sunghwan Kim et Hwangpil Park

Derrière cette expérience se trouve une technologie d’intelligence artificielle (IA) développée par Samsung Research pour assurer un suivi fiable des personnes dans une vidéo. Son intégration à une fonctionnalité mobile a nécessité une collaboration étroite avec la division MX de Samsung Electronics.

Samsung Newsroom s’est entretenu avec Hwangpil Park, de la Visual Technology Team de Samsung Research, ainsi qu’avec Sunghwan Kim et Sherry Hong, du Multimedia Development Group de la division MX, pour découvrir les coulisses du développement du Recadrage dynamique.

Une fonctionnalité qui se base sur l’expérience utilisateur

Comment est née l’idée du Recadrage dynamique ?

Sherry Hong : Nous sommes partis d’une question simple : comment permettre aux utilisateurs de créer plus facilement des vidéos mettant en avant les personnes qu’ils souhaitent voir ? Filmer, monter et partager des contenus depuis son smartphone fait désormais partie du quotidien, tandis que les  « fan cams », ces vidéos centrées sur un artiste en particulier, sont devenues très populaires sur les réseaux sociaux.

C’est à partir de cet usage que nous avons imaginé le Recadrage dynamique : une fonctionnalité permettant à chacun de créer, en quelques gestes seulement, une vidéo centrée sur la personne de son choix. Nous avons ensuite travaillé avec Samsung Research pour concrétiser cette idée.

L’IA au cœur du suivi des personnes

Quelle technologie permet au Recadrage dynamique de suivre une personne tout au long d’une vidéo ?

Hwangpil Park : La capacité du Recadrage dynamique à suivre la personne sélectionnée, y compris dans des scènes complexes, repose sur un modèle d’IA capable de reconnaître précisément les individus.

Le modèle identifie et mémorise la position ainsi que les caractéristiques visuelles de chaque personne. Il peut ainsi reconnaître un même individu au fil de la vidéo et continuer à suivre ses déplacements.

▲ Le fonctionnement du Recadrage dynamique

Quelles ont été les priorités en matière d’expérience utilisateur ?

Sunghwan Kim : Nous avons notamment cherché à réduire au maximum les temps d’attente pendant le montage. Dans une vidéo de groupe, il peut être intéressant de passer d’une personne à une autre. Or, devoir analyser à nouveau l’intégralité de la vidéo à chaque changement aurait imposé un nouveau temps d’attente.

Nous avons donc conçu le Recadrage dynamique pour analyser plusieurs personnes simultanément. Une fois la première analyse terminée, il est possible de passer instantanément d’un sujet à un autre et de visualiser directement le résultat.

▲ Une fois la vidéo analysée, il est possible de passer facilement d’une personne à une autre.

Nous avons également souhaité simplifier le montage. Le ratio de la vidéo peut facilement être ajusté en fonction de la scène pour créer une vidéo adaptée au réseau social auquel elle se destine.

▲ Les ratios proposés par le Recadrage dynamique

Comment Samsung Research et la division MX ont-ils collaboré pour transformer cette technologie en une fonctionnalité Galaxy ?

Sherry Hong : Identifier les difficultés ne suffisait pas : il fallait également trouver les bonnes solutions, puis vérifier systématiquement leur efficacité. À mesure que le concept prenait forme, le développement s’est intensifié. Les réunions hebdomadaires sont progressivement devenues quotidiennes, avec un point chaque matin pour suivre l’avancement du projet.

Avant de déployer une nouvelle fonctionnalité, il est essentiel de la tester dans des situations extrêmement variées. De nombreux membres de l’équipe ont donc participé aux tests. Certains ont ressorti d’anciennes vidéos, par exemple des représentations de leur clubs de danse. D’autres ont tourné de nouvelles séquences avec leur smartphone pendant leurs loisirs, notamment lors de séances d’escalade.

▲ Sherry Hong présente une vidéo personnelle utilisée lors des tests.

Hwangpil Park : Une technologie qui fonctionne parfaitement dans un environnement de recherche peut réagir différemment face à des vidéos tournées dans des conditions réelles. Des mouvements rapides ou des personnes qui se croisent et se masquent dans l’image peuvent, par exemple, complexifier le suivi.

Lorsque la division MX nous signalait ce type de situation, Samsung Research en analysait les causes puis affinait le modèle d’IA et les méthodes de suivi. Les modifications étaient ensuite testées directement dans l’environnement du produit. Nous avons répété ce processus pour améliorer progressivement la fonctionnalité.

▲ Hwangpil Park revient sur le développement du Recadrage dynamique.

Quel a été le principal défi pour intégrer le Recadrage dynamique sur un appareil mobile ?

Sunghwan Kim : Le principal défi consistait à effectuer l’ensemble des traitements liés à l’IA directement sur l’appareil, sans recourir à un serveur externe. Plus une vidéo est longue, plus les ressources nécessaires à son traitement sont importantes.

Il fallait donc trouver la bonne vitesse de traitement, sans altérer les performances de l’appareil. Samsung Research a optimisé le modèle d’IA afin d’obtenir les résultats attendus en réduisant les calculs nécessaires. De son côté, la division MX a optimisé l’ensemble du processus, du décodage de la vidéo au transfert et à l’analyse des données, afin de réduire la charge de calcul tout en préservant les performances.

▲ Sunghwan Kim explique le travail d’optimisation du Recadrage dynamique pour un traitement directement sur l’appareil.

Hwangpil Park : Nous avons également dû prendre en compte les situations dans lesquelles sélectionner une personne peut s’avérer difficile. Lors d’un spectacle scolaire ou d’une compétition sportive, par exemple, la personne recherchée peut n’apparaître qu’au milieu de la vidéo ou être temporairement masquée par quelqu’un d’autre.

Le Recadrage dynamique a donc été conçu pour permettre de parcourir la vidéo, de trouver un moment où la personne est clairement visible et de la sélectionner à n’importe quel instant de la séquence.

Des concerts aux moments du quotidien

Quels conseils permettraient de profiter au mieux du Recadrage dynamique ?

Sunghwan Kim : Lors de la prise de vue, je recommande d’utiliser une définition élevée et de cadrer légèrement plus large afin de laisser suffisamment d’espace autour de la personne.

Au moment de sélectionner le sujet, mieux vaut choisir une image où celui-ci se superpose le moins possible à d’autres personnes et où son visage, le haut de son corps ou l’ensemble de sa silhouette sont clairement visibles.

Le Recadrage dynamique fonctionne également avec des vidéos déjà existantes, qu’il s’agisse de concerts passés, de voyages ou d’activités avec les enfants. Comme il n’est plus nécessaire de suivre constamment une personne pendant la prise de vue, il devient possible de profiter davantage du moment.

Il est par exemple possible de placer son smartphone sur un trépied pour filmer une séance d’entraînement, puis d’utiliser le Recadrage dynamique pour créer une vidéo centrée sur soi, sans avoir besoin de quelqu’un derrière la caméra.

▲ Le Recadrage dynamique dans différentes situations

Comment aimeriez-vous voir les utilisateurs s’approprier le Recadrage dynamique ?

Hwangpil Park : Le Recadrage dynamique fonctionne également avec des vidéos qui n’ont pas été filmées avec un appareil Galaxy. J’espère donc que les utilisateurs auront envie de l’essayer avec toutes sortes de contenus. La fonctionnalité peut apporter un nouveau regard sur d’anciennes vidéos et permettre de redécouvrir des moments importants en choisissant de se concentrer sur une personne en particulier.

Sherry Hong : Être fan est parfois associé uniquement au fait d’admirer une célébrité ou une idole. Pour moi, cela signifie surtout tenir profondément à quelqu’un ou à quelque chose. Cela peut être un artiste, un membre de sa famille, un ami ou même soi-même. J’aimerais que le Recadrage dynamique permette de mettre en valeur les personnes et les moments qui comptent pour chacun.

▲ Les développeurs reviennent sur la collaboration qui a donné naissance au Recadrage dynamique.

Partie d’une volonté de simplifier l’expérience utilisateur, l’idée du Recadrage dynamique s’est progressivement transformée en une nouvelle expérience vidéo associant intelligence artificielle, optimisation sur appareil mobile et collaboration entre les équipes. Des concerts aux scènes du quotidien, la fonctionnalité facilite la création et le montage de vidéos centrées sur les personnes et les moments que l’on souhaite garder en mémoire.

Dans le deuxième épisode de cette série, Samsung Newsroom reviendra sur la technologie capable de reproduire le rendu des objectifs photo à grande ouverture sur un appareil mobile, ainsi que sur la collaboration qui a permis son développement.