Un sujet parfaitement net, qui se détache sur un arrière-plan délicatement flouté, crée une sensation de profondeur longtemps associée aux objectifs photo de qualité professionnelle. Les chercheurs explorent depuis plusieurs années différentes manières de reproduire cet effet en vidéo sur smartphone.

Avec la gamme Galaxy Z, Vidéo Portrait recrée la profondeur caractéristique et le bokeh [1] d’un objectif à grande ouverture [2]. Pour y parvenir, Samsung Research a analysé les caractéristiques optiques de véritables objectifs photo et développé une technologie de traitement vidéo basée sur l’IA, tandis que la division MX l’a optimisée pour une utilisation sur smartphone.

▲ De gauche à droite : Sang-uk Park, en charge du développement photo au sein de la division Mobile eXperience (MX), et YoungGeol Kim, de l’équipe Visual Technology chez Samsung Research

Samsung Newsroom s’est entretenu avec YoungGeol Kim, de l’équipe Visual Technology de Samsung Research, et Sang-uk Park, en charge du développement photo au sein de la division Mobile eXperience (MX), pour comprendre comment Vidéo Portrait est passée du stade de concept de recherche à celui de fonctionnalité intégrée à l’appareil photo des Galaxy.

Un nouveau niveau de profondeur avec Vidéo Portrait

Qu’est-ce que Vidéo Portrait ? Qu’est-ce qui change avec la dernière gamme Galaxy Z ?

Park : Vidéo Portrait maintient le sujet principal parfaitement net tout en floutant délicatement l’arrière-plan. Le résultat offre un rendu cinématographique qui permet au sujet de mieux se détacher.

Pour y accéder, il suffit d’ouvrir l’application Appareil photo, puis d’appuyer sur « Plus » et de sélectionner Vidéo Portrait.

▲ Les utilisateurs peuvent ouvrir l’application Appareil photo et sélectionner « Plus » pour accéder à Vidéo Portrait.

Sur la gamme Galaxy Z, l’intensité du flou évolue naturellement en fonction de la distance entre le sujet et l’arrière-plan. Les petites sources lumineuses situées en arrière-plan prennent la forme d’un bokeh doux et arrondi, à la manière d’un objectif à grande ouverture.

Les utilisateurs peuvent ainsi mettre davantage en valeur leur sujet et créer, avec un simple smartphone, des vidéos offrant plus de profondeur et d’atmosphère, sans avoir besoin d’équipement supplémentaire.

▲ Comparaison de vidéos avec et sans Vidéo Portrait sur la gamme Galaxy Z.

Après l’enregistrement, il est également possible de déplacer la mise au point sur un autre sujet ou d’ajuster l’intensité du flou.

▲ Les utilisateurs peuvent changer le sujet sur lequel la mise au point est effectuée et régler le niveau de flou de 0 à 7.

Comment est venue l’idée de cette technologie ?

Kim : La photographie est l’un de mes loisirs depuis 25 ans. Cette passion m’a naturellement conduit vers la recherche et le développement de technologies photo.

Les appareils photo des smartphones ont rapidement progressé, avec de nombreuses nouvelles fonctionnalités et des améliorations en matière de qualité d’image. La vidéo a elle aussi beaucoup évolué, mais je voyais encore un potentiel pour reproduire la profondeur et le rendu d’arrière-plan caractéristiques des objectifs photo professionnels. Nous avons proposé cette idée au stade de la recherche, au moment même où la division MX cherchait des moyens de permettre aux utilisateurs de créer plus facilement des vidéos au rendu professionnel. C’est ce qui a ouvert la voie à un développement commun.

▲ Kim revient sur l’origine de Vidéo Portrait.

Comment les équipes ont-elles collaboré pour transformer Vidéo Portrait en véritable fonctionnalité photo ?

Kim : Les solutions existantes ne suffisaient pas à obtenir le rendu naturel d’un véritable objectif que nous recherchions. À l’époque, la technologie développée par Samsung Research était encore au stade de la recherche, et décider de l’intégrer à un produit n’allait donc pas de soi. Malgré cela, la division MX en a perçu le potentiel et a choisi de la commercialiser.

Nous avons alors lancé une phase complète de tests et d’optimisation. La technologie a été évaluée sur de véritables appareils et les équipes ont échangé en permanence leurs retours afin de la transformer en une fonctionnalité utilisable au quotidien.

Park : Pour préparer la fonctionnalité à une utilisation dans des conditions réelles, nous avons dû filmer un très grand nombre de vidéos dans des environnements extrêmement variés, puis analyser les résultats. Comme cette fonctionnalité repose principalement sur les personnes, les experts des deux équipes ont même servi eux-mêmes de modèles et se sont filmés les uns les autres. Nous avons notamment vérifié avec beaucoup d’attention la manière dont les sujets étaient séparés de l’arrière-plan, ainsi que le rendu du flou et du bokeh à différentes distances.

Au fur et à mesure que nous nous filmions, que nous examinions ensemble les résultats et que nous poursuivions nos échanges, ce qui m’a le plus marqué est la nette amélioration du rendu.

▲ Park décrit la collaboration entre les différentes équipes.

Le rendu d’un objectif à grande ouverture sur smartphone

Quelle est la technologie clé qui permet à Vidéo Portrait d’aller plus loin ?

Kim : Le point essentiel consiste à reproduire, en vidéo sur smartphone, le rendu caractéristique d’un objectif professionnel à grande ouverture. Pour y parvenir, nous avons combiné l’intelligence artificielle et l’analyse optique.

Il ne suffit pas de flouter une image pour recréer la profondeur et le rendu naturel de l’arrière-plan d’un appareil photo professionnel. Un flou classique adoucit l’image en mélangeant les couleurs environnantes. Un objectif à grande ouverture fonctionne différemment : l’intensité du flou varie naturellement selon la distance entre le sujet et l’arrière-plan, tandis que les points lumineux se diffusent pour former un bokeh qui conserve sa forme et sa luminosité. La forme et la texture de ces zones hors mise au point constituent précisément ce que l’on appelle le bokeh.

Pour reproduire ce rendu, il faut donc prendre en compte à la fois la distance entre le sujet et l’arrière-plan, mais aussi la manière dont la lumière se diffuse à travers un véritable objectif photo.

▲ Bokeh obtenu avec Vidéo Portrait sur Galaxy Z Fold8 Ultra.

Recréer cet effet sur smartphone a nécessité deux éléments. Tout d’abord, nous avons analysé la manière dont la lumière se diffuse à travers un véritable objectif à grande ouverture ainsi que les caractéristiques du bokeh obtenu, avant de transformer ces observations en données.

Nous avons ensuite combiné ces données avec les informations de profondeur de la scène estimées par l’IA. Le système peut ainsi ajuster l’intensité du flou et la taille du bokeh en fonction de la distance entre le sujet et l’arrière-plan.

▲ Processus permettant de recréer le rendu d’un objectif à grande ouverture

Quels défis techniques avez-vous rencontrés pour recréer le flou et le bokeh sur smartphone ?

Kim : Le plus grand défi consistait à reproduire naturellement les contours complexes entre le sujet et l’arrière-plan, par exemple les cheveux ou les montures de lunettes. Sur smartphone, les seules informations de profondeur estimées par l’IA ne suffisent pas à distinguer avec précision les détails les plus fins. Une erreur minime peut suffire à flouter certaines mèches de cheveux ou, au contraire, à laisser des parties de l’arrière-plan parfaitement nettes. Le sujet donne alors l’impression d’avoir été artificiellement détouré.

Pour résoudre ce problème, nous avons combiné les informations de profondeur estimées par l’IA avec celles issues des contours de la vidéo originale. Cela permet de séparer plus naturellement le sujet de l’arrière-plan, y compris autour de détails très fins comme les cheveux.

Park : Il était également essentiel d’obtenir des résultats cohérents quelles que soient les conditions de prise de vue : météo, luminosité, mouvement du sujet ou encore distance. Nous avons donc réalisé de nombreux tests dans des conditions très diverses et analysé les résultats à chaque fois. Les éléments qui paraissaient artificiels ont progressivement été améliorés grâce à des optimisations logicielles et à l’ajout de nouvelles données d’entraînement pour l’IA. En s’appuyant sur la technologie de Samsung Research, les spécialistes de la qualité d’image de la division MX ont également évalué le rendu du point de vue de l’utilisateur afin d’affiner encore davantage la fonctionnalité.

▲ Vidéo Portrait reconnaît les visages et déplace naturellement la mise au point vers une autre personne lorsque le sujet principal se détourne.

Comment avez-vous rendu ce traitement vidéo complexe suffisamment fiable pour être utilisé sur la gamme Galaxy Z ?

Kim : Le principal défi consistait à réduire la consommation d’énergie et la production de chaleur sans compromettre la qualité. Une vidéo est constituée d’une succession très rapide d’images. Traiter une vidéo 4K en temps réel demande donc une puissance de calcul importante.

Nous avons dû faire des choix. Nous avons conservé les traitements essentiels à la qualité d’image, tout en réduisant la puissance de calcul nécessaire sur des éléments pour lesquels les utilisateurs ne percevraient pratiquement aucune différence.

Nous avons ainsi trouvé un équilibre entre le rendu naturel d’un objectif et le traitement en temps réel, afin d’assurer des performances stables et efficaces, y compris pendant des enregistrements prolongés.

Plus de liberté pour créer en vidéo

Quels conseils donneriez-vous pour profiter pleinement de la fonctionnalité Vidéo Portrait ?

Kim : Pour mieux faire ressortir le bokeh, privilégiez les scènes où des sources lumineuses vives se détachent sur un arrière-plan relativement sombre. Les rayons du soleil filtrant à travers des feuilles, des illuminations de Noël ou encore des lampadaires la nuit peuvent se transformer en halos lumineux circulaires et doux, pour créer une atmosphère plus marquée.

Lorsque vous filmez une personne, mieux vaut éviter une forte source de lumière directement face au sujet. Essayez plutôt de positionner la lumière derrière lui ou sur le côté. Elle peut alors illuminer délicatement les cheveux et les contours du sujet, tout en renforçant le bokeh en arrière-plan. La lumière réfléchie ou d’autres sources ambiantes, comme l’éclairage urbain, peuvent également aider à éviter que le visage ne soit trop sombre et à obtenir un résultat plus équilibré.

▲ Un objet filmé dans un café avec Vidéo Portrait. L’arrière-plan naturellement flouté permet au sujet de mieux se détacher.

Quelle réaction aimeriez-vous le plus entendre de la part des utilisateurs ayant testé Vidéo Portrait ?

Park : J’aimerais que les utilisateurs, les créateurs et les professionnels de la vidéo soient surpris de voir à quel point il est simple de créer une vidéo au rendu cinématographique avec un smartphone. J’espère que le flou naturel, le bokeh et les fonctions de modification après la prise de vue leur offriront davantage de liberté pour créer exactement le rendu et l’atmosphère qu’ils recherchent.

Kim : À terme, j’aimerais que les utilisateurs aient le sentiment qu’ils n’ont plus besoin d’emporter un appareil photo professionnel séparé. Nous allons continuer à faire progresser les technologies qui rendent cette expérience possible, afin qu’ils puissent créer des vidéos au rendu cinématographique avec leur seul smartphone.

▲ Les experts se tournent déjà vers les prochaines évolutions de Vidéo Portrait.

Reproduire en vidéo sur smartphone la faible profondeur de champ et le rendu de la lumière caractéristiques des objectifs photo professionnels a nécessité de nombreux tests et une collaboration étroite entre les équipes pour transformer un concept de recherche en une fonctionnalité fiable. Développé grâce à l’expertise combinée de Samsung Research et de la division Mobile eXperience (MX), Vidéo Portrait enrichit l’expérience vidéo des Galaxy et offre aux utilisateurs de nouvelles possibilités pour donner vie à leur créativité.

DAS Galaxy Z Fold8 : tête : 0,823 W/kg – tronc : 1,211 W/kg – membre : 2,26W/kg | DAS Galaxy Z Fold8 Ultra : tête : 0,821 W/kg – tronc : 1,167 W/kg – membre : 2,87 W/kg

[1] Bokeh : forme et texture du flou dans les zones hors mise au point, souvent visible lorsque de petits points lumineux apparaissent sous forme de halos circulaires.

[2] Objectif à grande ouverture : objectif dont le diaphragme peut s’ouvrir largement pour laisser entrer davantage de lumière. Il permet notamment de conserver le sujet net tout en floutant délicatement l’arrière-plan et en créant des effets de bokeh.