[Interview] Les acteurs des innovations en matière d’appareil photo de la gamme Galaxy Z Fold8 ① : comment My FanCam permet de garder vos sujets préférés bien nets

Depuis le lancement de la gamme Galaxy Z Fold8, une fonctionnalité fait beaucoup parler d’elle parmi les amateurs de K-pop, qui la considèrent comme un incontournable : My FanCam.[1] Il suffit aux utilisateurs de sélectionner une personne dans une vidéo pour que My FanCam suive automatiquement ses mouvements tout au long de la vidéo.

Cette fonctionnalité permet de mettre facilement quelqu’un à l’honneur, qu’il s’agisse de votre artiste préféré dans une vidéo de concert ou de vos proches dans des moments du quotidien.

▲ (De gauche à droite) Sherry Hong, Sunghwan Kim et Hwangpil Park

Derrière cette expérience se cache la technologie d’intelligence artificielle de Samsung Research, qui permet de suivre de manière fiable les personnes dans les vidéos. Celle-ci a été intégrée à une fonctionnalité mobile grâce à une étroite collaboration avec la division MX. La salle de presse de Samsung s’est entretenue avec Hwangpil Park, de l’équipe des technologies visuelles chez Samsung Research, ainsi qu’avec Sunghwan Kim et Sherry Hong, du groupe de développement multimédia de la division MX, au sujet de My FanCam.

Une approche centrée sur l’utilisateur

Q: Qu’est-ce qui a inspiré My FanCam?

Sherry Hong : Nous avons commencé par nous demander comment faciliter la création, pour les utilisateurs, de vidéos mettant en avant les personnes qu’ils souhaitent suivre. À mesure que la prise de vue, le montage et le partage de contenu sur téléphone sont devenus monnaie courante, les vidéos réalisées par les amateurs de leurs artistes préférés ont gagné en popularité sur les réseaux sociaux. En réponse à cette tendance, nous avons imaginé My FanCam, une fonctionnalité permettant à chacun de créer, en quelques clics, une vidéo centrée sur la personne de son choix, et nous avons collaboré avec Samsung Research pour concrétiser cette idée.

La technologie derrière un suivi fiable

Q: Quelle technologie permet à My FanCam de suivre continuellement quelqu’un dans une vidéo?

Hwangpil Park : La clé de la capacité de My FanCam à suivre une personne sélectionnée, même dans des scènes complexes, réside dans un modèle d’IA capable de reconnaître précisément les individus. Ce modèle identifie et mémorise la position ainsi que les caractéristiques visuelles de chaque personne, ce qui lui permet de reconnaître la même personne tout au long de la vidéo et de continuer à la suivre.

▲ Le fonctionnement de My FanCam

Q: Quel était l’objectif principal de l’expérience utilisateur?

Sunghwan Kim : Nous nous sommes concentrés sur la réduction des temps d’attente lors du montage. Les utilisateurs peuvent souhaiter passer d’une personne à l’autre dans les vidéos de groupe, mais réanalyser la vidéo à chaque fois les obligerait à attendre à nouveau. Nous avons conçu My FanCam pour analyser plusieurs personnes à la fois, ce qui permet aux utilisateurs de passer d’un sujet à l’autre et de voir instantanément les résultats une fois l’analyse initiale terminée.

Nous avons également simplifié le processus de montage. Les utilisateurs peuvent facilement ajuster le format d’image en fonction de la scène et créer une vidéo adaptée à leurs besoins.

▲ La fonction de réglage du format d’image de My FanCam

Q: Comment les deux équipes ont-elles collaboré pour intégrer cette technologie au Galaxy?

Sherry Hong : Il était essentiel non seulement d’identifier les problèmes, mais aussi de trouver une solution à ces derniers; la validation des résultats a joué un rôle clé dans notre processus. Plus le concept se concrétisait, plus le processus de développement gagnait en maturité. Afin de suivre le rythme des avancées, les réunions hebdomadaires sont devenues quotidiennes et, lors de ces réunions quotidiennes, nous veillions à faire le point sur l’avancement chaque matin.

Il est important de tester un large éventail de scénarios avant de déployer de nouvelles fonctionnalités. Afin d’aider l’équipe de développement à tester un large éventail de scénarios, plusieurs membres de l’équipe ont participé à ce processus. Certains ont apporté d’anciennes vidéos datant de leurs années d’université, comme des vidéos tournées dans des discothèques.  D’autres ont apporté leur téléphone pour filmer de nouvelles séquences, par exemple de leurs activités d’escalade.

▲ Sherry Hong montre une vidéo personnelle utilisée à des fins de test.

Hwangpil Park :Une technologie qui fonctionnait bien dans un environnement de recherche donnait parfois des résultats différents avec des séquences filmées en conditions réelles, en raison de variables telles que les mouvements rapides et le chevauchement de personnes dans le cadre. Lorsque l’équipe MX Business a fait part de ces cas, Samsung Research en a analysé les causes et a perfectionné le modèle d’IA ainsi que les méthodes de suivi. Nous avons ensuite validé ces modifications dans l’environnement du produit, en répétant le processus afin d’améliorer la fonctionnalité.

▲ Hwangpil Park discute du développement de My FanCam.

Q: Quel a été le plus grand défi rencontré lors de l’adaptation de My FanCam aux appareils mobiles?

Sunghwan Kim : Le principal défi consistait à traiter les charges de travail liées à l’IA entièrement sur l’appareil, sans recourir à un serveur distinct. Les vidéos plus longues nécessitant davantage de puissance de calcul, nous avons dû tenir compte de la vitesse de traitement, de la consommation d’énergie et de la production de chaleur. Samsung Research a optimisé le modèle d’IA afin d’obtenir les résultats requis en réduisant la charge de calcul, tandis que l’équipe MX Business a rationalisé l’ensemble du processus, du décodage vidéo au transfert et à l’analyse des données, ce qui a permis de réduire la charge de calcul tout en limitant au maximum l’impact sur les performances.

▲ Sunghwan Kim explique comment My FanCam a été optimisée pour offrir de meilleures performances sur l’appareil

Hwangpil Park : Nous avons également dû tenir compte des situations pouvant compliquer la sélection d’une personne dans les vidéos. Lors de spectacles scolaires ou de journées sportives, par exemple, la personne sur laquelle les utilisateurs souhaitent se concentrer peut n’apparaître qu’à mi-parcours de la vidéo ou être masquée par d’autres personnes. Nous avons donc conçu My FanCam pour que les utilisateurs puissent repérer un moment où leur sujet est clairement visible et le sélectionner à n’importe quel moment de la vidéo.

De vos artistes préférés aux moments du quotidien

Q: Avez-vous des conseils pour tirer le meilleur parti de My FanCam?

Sunghwan Kim : Pour filmer, je vous conseille d’opter pour un réglage en haute résolution et de cadrer un peu plus large afin de laisser de l’espace autour de la personne. Lorsque vous choisissez un sujet, optez pour un cadrage dans lequel il ne chevauche pas trop les autres personnes et où son visage, le haut de son corps ou sa silhouette entière sont clairement visibles.

My FanCam fonctionne également avec des enregistrements existants, tels que des vidéos de concerts passés, de voyages ou d’activités avec les enfants. Comme les utilisateurs n’ont pas besoin de suivre une personne en particulier pendant qu’ils filment, ils peuvent mieux se concentrer sur l’instant présent.

Par exemple, les utilisateurs peuvent installer un trépied pour filmer une séance d’entraînement, puis utiliser My FanCam pour créer une vidéo où ils sont au centre de l’image, sans que personne ne se trouve derrière la caméra.

▲ My FanCam dans différents scénarios

Q: Comment espérez-vous que les utilisateurs utiliseront My FanCam?

Hwangpil Park : Comme My FanCam fonctionne avec des vidéos qui n’ont pas été tournées sur un appareil Galaxy, j’espère que les utilisateurs l’essaieront avec toutes sortes de séquences. Cette application peut offrir un regard nouveau sur d’anciennes vidéos, en aidant les utilisateurs à revivre des moments marquants en mettant en avant une personne qui leur est chère

Sherry Hong : Certains pourraient penser qu’être un fan, c’est simplement aimer une idole ou une célébrité. Mais pour moi, cela signifie simplement tenir profondément à quelqu’un ou à quelque chose, qu’il s’agisse d’un artiste, d’un membre de la famille, d’un ami ou même de soi-même. J’aimerais que les gens utilisent My FanCam pour immortaliser les personnes et les moments qui comptent pour eux.

▲ Les développeurs discutent de la façon dont la collaboration a rendu My FanCam possible.

Ce qui n’était au départ qu’une idée visant à faciliter la vie des utilisateurs s’est transformé en My FanCam, une nouvelle expérience vidéo alliant intelligence artificielle, optimisation pour les appareils mobiles et travail d’équipe étroit. Des concerts à la vie quotidienne, My FanCam vous permet de filmer et de monter plus facilement des vidéos des moments qui méritent d’être immortalisés.

Dans la deuxième partie de cette série, la salle de presse de Samsung expliquera comment la technologie d’émulation d’objectif à grande ouverture permet d’apporter aux appareils mobiles les qualités expressives des objectifs professionnels, et reviendra sur la collaboration qui a présidé à son développement.

[1] La fonctionnalité My FanCam nécessite une connexion au compte Samsung. La disponibilité peut varier selon la vidéo. Non pris en charge s’il n’y a pas de sujet à suivre. Samsung ne fait aucune promesse ni ne fournit aucune assurance ou garantie quant à l’exactitude, à l’exhaustivité ou à la fiabilité des résultats fournis par les fonctionnalités de l’IA. Les fonctionnalités de base de Galaxy AI offertes par Samsung sont gratuites. Les versions futures pourraient inclure des fonctionnalités améliorées ou de nouveaux services offerts sur une base payante. Différentes conditions peuvent s’appliquer aux fonctionnalités d’IA fournies par des tiers. Les fonctionnalités de base de Galaxy AI sont les services répertoriés sous « Intelligence avancée » dans les conditions générales actuelles des services Samsung.