Des chercheurs de l'Université de Washington ont trouvé un moyen de créer des personnages numériques interactifs en 3D en utilisant des albums photos et des vidéos. Pour leurs tests, ils sont allés chercher des images de personnes célèbres comme Tom Hanks, Barrack Obama, Hillary Clinton et George W. Bush. Une fois les modèles 3D réalisés, ils leur ont associé les voix, les formules et les expressions d'une autre personne, créant de véritables marionnettes numériques en trois dimensions. « On peut fabriquer de toute pièce une conversation avec un personnage que l’on n’aura jamais l’occasion de rencontrer dans la vie - LeBron James, Barack Obama, Charlie Chaplin - et interagir avec lui », a expliqué Steve Seitz, professeur de science et de génie informatique à l’Université de Washington.

Pour construire ces personnages, l’équipe de chercheurs a utilisé des algorithmes d'apprentissage machine, l’objectif étant de collecter sur Internet 200 images de chaque personnalité, en choisissant des situations et des expressions différentes. Ensuite, les chercheurs ont développé des techniques pour récupérer les expressions et les textures et cataloguer tous les petits changements dans l’expression qui peuvent se produire quand la personne sourit, change de regard ou fait une grimace avec sa bouche.

Une technologie stupéfiante

En travaillant sur les éclairages de différentes photographies, l’équipe de Steve Seitz a fait correspondre les expressions du visage numérique avec celui d'une autre personne, l’idée étant de « contrôler » le modèle numérique avec une vidéo d’une personne. Autrement dit, « comment faire pour reporter les expressions du visage d’une personne sur une autre en conservant son identité ? », comme l’a exprimé le professeur de l’Université de Washington. « C’était l’un des aspects les plus intéressants de ce travail. Au final, nous avons montré qu’il était possible de coller les expressions, les attitudes et les mouvements de bouche de George Bush sur George Clooney tout en ayant l’impression que c’est toujours George Clooney qui s’exprime ».

Cette technologie profite des progrès réalisés dans la reconstruction des visages en 3D, des systèmes de tracking, d'alignement, de la modélisation multi-texture et de l’animation de marionnettes, des techniques développées au cours des cinq dernières années par un groupe de recherche dirigé par Ira Kemelmacher-Shlizerman, elle-même professeur adjoint de science et de génie informatique à l’Université de Washington. La recherche a été financée par Samsung, Google, Intel et l'Université de Washington. Les résultats seront présentés la semaine prochaine lors de la Conférence internationale Computer Vision qui aura lieu du 13 au 16 décembre à Santiago du Chili. Une vidéo permet d’en savoir plus sur cette recherche.