[L’avis d’un spécialiste en IA – 3] Avoir une vision, c’est comprendre le monde

Sven Dickinson, directeur du centre d’IA de Samsung à Toronto

Pouvez-vous imaginer un monde où l’assistant IA personnel de votre téléphone intelligent serait capable de comprendre le monde aussi bien que vous? Qu’en est-il d’un scénario où communiquer avec cet assistant IA est aussi naturel et facile que d’interagir avec un autre humain? Acquérir ce genre de capacités est exactement ce à quoi l’équipe du Centre d’IA de Samsung à Toronto se consacre.

Notre correspondant de Samsung Newsroom s’est entretenu avec Sven Dickinson, directeur du centre d’IA de Samsung à Toronto, pour en savoir plus sur ces sujets passionnants et comprendre ce qu’ils pourraient signifier pour l’avenir.

Une vision de la vision

Le deuxième centre d’IA de Samsung établi en du Nord, le Centre d’IA de Samsung à Toronto, est dirigé par Sven Dickinson, expert en vision par ordinateur et ancien directeur du Département des sciences informatiques de l’Université de Toronto.

Noyau de la recherche et du développement en IA au Canada, le Centre d’IA de Samsung à Toronto se concentre principalement sur le développement des capacités de compréhension visuelle qui permettent à un appareil Samsung de saisir le monde dans lequel il est situé. De plus, l’équipe travaille sur les interactions multimodales, qui sont des interactions utilisateur-machine englobant à la fois la vision, le langage et les connaissances.

« Donner aux appareils Samsung la capacité de “voir le monde” grâce à la vision artificielle leur permet de “fonder visuellement” leur dialogue avec l’utilisateur, offrant ainsi une expérience multimodale intégrée beaucoup plus naturelle qu’une expérience basée uniquement sur la vision ou sur le dialogue », explique M. Dickinson, dont l’expertise comprend l’exploration des problèmes entourant la perception des formes et la reconnaissance des objets.

Abordant les avantages de la technologie multimodale, Dickinson affirme : « Je ne devrais pas avoir à lire des manuels pour savoir quels boutons appuyer sur mon appareil et dans quel ordre je devrais le faire. Je devrais plutôt pouvoir montrer à mon appareil ce que je veux, et lui dire ce que je veux, dans un langage naturel, compréhensible et situé dans le monde dans lequel je vis. »

En extrapolant sur l’interaction entre la vision par ordinateur et les intrants multimodaux, il poursuit en disant que « pour atteindre cette étendue de compréhension, l’appareil doit avoir un modèle de ma compréhension du monde, la capacité de communiquer de façon approfondie et naturelle avec moi, et la capacité de voir et de comprendre le même monde que moi. »

Discutant des applications de cette technologie, Dickinson indique que la plus captivante est celle d’« un assistant personnel à qui vous ne faites pas que parler, mais qui voit le monde de la même façon que vous. » En parlant de l’importance des interactions multimodales, Dickinson souligne à quel point l’annulation de l’un des modes de communication (son, parole, vue, etc.) entraverait la communication entre deux personnes. Or, un tel constat vaut également pour les appareils personnels.

La clé, c’est une véritable amélioration de l’expérience utilisateur

Lors du Consumer Electronics Show (CES) de 2019, Samsung a dévoilé sa vision de la Vie connectée, qui consiste à connecter les 500 millions d’appareils que la société vend chaque année et à les rendre intelligents. Dickinson souligne que la vaste gamme de produits de Samsung sera déterminante dans la réalisation de cette vision, affirmant que « ce qui distingue Samsung, c’est qu’elle fabrique une multitude d’appareils servant dans la maison, y compris des appareils électroménagers numériques, des téléviseurs et des téléphones portables. Samsung a une occasion unique de tirer parti de ces appareils pour offrir une expérience multipériphérique qui suit l’utilisateur d’un appareil à un autre, et d’une pièce à une autre. Une telle interrelation aidera à réaliser le plein potentiel de chaque appareil pour communiquer efficacement, pour aider l’utilisateur à exécuter des tâches spécifiques à l’appareil, et pour apprendre les habitudes et les préférences de l’utilisateur afin que la communication ultérieure ne soit pas intrusive, mais plutôt « toujours utile ».

Parlant de ce que son centre devra faire pour vraiment mettre en œuvre la vision par ordinateur et l’interaction multimodale, Dickinson affirme qu’« une vision ne consiste pas à comprendre des images, elle consiste à comprendre le monde. Les systèmes d’IA vraiment performants doivent posséder une compréhension de notre monde, de sa physique et de sa causalité, de sa géométrie et de sa dynamique. Ils doivent aussi être capables de modéliser le comportement humain et de le comprendre. » Il extrapole sur ce point en soulignant que « si nos appareils peuvent voir le monde 3D où nous vivons de la même manière que nous, c’est-à-dire comprendre les formes, les positions et l’identité des objets 3D dans notre environnement commun, alors nos appareils peuvent faire la même expérience visuelle du monde que la nôtre. Une telle communauté de contexte visuel sera cruciale dans le développement d’assistants personnels pleinement accomplis. »

Dickinson affirme que Samsung est un chef de file en matière de compréhension visuelle vraiment intelligente et considère le « fondement d’une vision » comme une condition préalable essentielle à une compréhension visuelle bien intégrée. « Samsung est un chef de file dans le développement d’une interaction entre l’homme et l’appareil qui imite étroitement l’interaction entre l’homme et l’homme », ajoute Dickinson. « Nous visons à fournir le fondement d’une vision et l’échafaudage d’une représentation des connaissances pour les services d’interaction basés sur le dialogue. Sans de tels composants en place, les utilisateurs sont déçus par les services et se déconnectent rapidement. »

Interactions homme-dispositif basées sur le partage ouvert de l’information

Dickinson poursuit en expliquant que l’IA doit également pouvoir s’expliquer à l’utilisateur. Il remarque qu’après avoir omis d’exécuter une tâche ou de fournir une réponse appropriée, « un dispositif devrait être capable d’indiquer précisément à l’utilisateur comment et pourquoi il a produit cette réponse (ou son absence). Idéalement, le dispositif devrait être en mesure de faire un suivi auprès de l’utilisateur en lui posant une question ou en lui demandant d’ajuster sa caméra ou d’autres modes d’entrée afin qu’il puisse recueillir plus d’informations et formuler une réponse appropriée. » Dickinson rapporte que ce type d’ouverture et de partage de l’information sera la clé d’un plus grand raffinement des interactions entre l’homme et l’appareil, notant que « ce que nous appelons le domaine du “dialogue actif et de la vision active” est un domaine où le système peut construire un modèle mental de ce que l’utilisateur comprend et peut, à son tour, ouvrir son propre modèle mental afin que l’utilisateur puisse comprendre le processus de pensée du dispositif. »

Les avantages d’être basé à Toronto

Interrogé pour savoir en quoi le fait d’être basé à Toronto a une incidence sur le centre d’IA, Dickinson remarque que le centre jouit de nombreux avantages en raison de sa proximité de diverses institutions de classe mondiale liées à l’IA, dont l’Université de Toronto, l’Université York et l’Université Ryerson. « Le fait d’être à Toronto nous offre un avantage régional énorme », commente Dickinson. « Nous sommes de l’autre côté de la rue de l’Université de Toronto, où se trouve le Département de sciences informatiques (DSI), l’un des dix meilleurs départements d’informatique au monde. Plus de la moitié des membres de notre centre d’intelligence artificielle sont soit des professeurs actifs, soit des diplômés, soit des étudiants actuels du DSI. »

Au sujet de la collaboration entre les centres d’IA mondiaux de Samsung, Dickinson explique que « les sept centres d’IA mondiaux de Samsung travaillent à créer des solutions de pointe dans leurs domaines d’activité respectifs, tout en se coordonnant pour atteindre l’objectif commun qui est la réalisation de la vision ultime de Samsung en matière d’IA. » Dickinson évoque une collaboration plus étroite du Centre d’IA de Toronto avec d’autres centres d’IA, affirmant que « nous commençons à explorer des collaborations de recherche possibles avec d’autres centres d’IA mondiaux, et espérons converger vers certains cas d’utilisation ayant une valeur pour Samsung et ses produits et services. »