Le traitement informatique de demain reposera sur deux plates-formes que sont l'intelligence artificielle et la réalité virtuelle. La plateforme d’intelligence artificielle 3D DeepMind Lab de Google doit permettre de développer des jeux virtuels en combinant les plates-formes AI et VR dans plusieurs dimensions. DeepMind Lab utilise un genre particulier d'IA appelé machine learning. Et dans le domaine du machine learning, elle utilise une forme avancée d'apprentissage machine appelée « Deep Reinforcing Learning » (DeepRL). Pour son projet, Google a listé plusieurs objectifs : concevoir des agents de plus en plus intelligents qui pourront faire preuve de compétences cognitives plus sophistiquées ; construire des environnements de plus en plus complexes dans lesquels les agents pourront être formés et évalués ; les jeux construits avec DeapMind Lab pourront profiter des expériences antérieures ; les agents DeepRL pourront apprendre en généralisant leur expérience passée et en l'appliquant à de nouvelles situations.

Le « Deep Reinforcing Learning » est basé sur l'observation d’éléments psychologiques et neuro-scientifiques sur lesquels repose le comportement animal. La prochaine étape consistera à créer un système d'apprentissage machine capable d’apprendre sans supervision. Les jeux sont un cadre idéal pour le DeepRL parce que l’amélioration progressive des scores est en soi une récompense, et l'expérience des réussites ou des échecs précédents sert de référence sur laquelle l’agent se base pour apprendre. L'agent interprète l'image bitmap de sa position dans le jeu et évalue statistiquement son prochain déplacement pour lequel il recevra une récompense. Il est calculé par un réseau neuronal intégrant l’expérience passée de l’agent.

Les recherches DeepMind Lab disponibles dans Github

Le DeepRL ne remplacera pas les riches et nombreuses applications supervisées d’apprentissage machine, comme dans le domaine du diagnostic médical par exemple. Dans ce cas, l’apprentissage machine s’appuie sur l’énorme quantité d'images médicales déjà soumises aux diagnostics des experts pour les affiner avec de nouvelles images et d’autres diagnostics d’experts humains. Cependant, le DeppRL résout un problème, au moins en partie, en appliquant l'apprentissage machine au monde réel, en comprenant l'imprévisibilité du monde réel et en prédisant la réponse la plus précise, un aspect essentiel si l’on veut parvenir à créer des agents généralistes. Des caméras, comme Tango, peuvent cartographier l'espace 3D. Mais il faut prévoir beaucoup de travail logiciel en arrière-plan pour comprendre l'espace 3D comme peut le faire un humain. Les modèles DeepRL appliqués aux jeux 3D VR pourraient permettre une compréhension plus globale de la réalité 3D.

L’objectif du projet DeepMind Lab est de fournir les ressources qui permettront d’accélérer la recherche et le développement du « Deep Reinforcing Learning ». Google a déclaré que les recherches du DeepMind Lab seraient déposées sous licence open source dans le référentiel Github, à charge pour la communauté de l'AI de pousser encore plus loin ces recherches. Google espère notamment que cette communauté créera des jeux à l'aide d'agents, contribuera à enrichir et à améliorer les logiciels, les modèles et les actifs. Par actifs, Google entend les composants de jeux 3D, autrement dit, les personnages et les objets, comme les meubles, les outils et autres actifs. Plus le code, les modèles et les actifs seront nombreux et partagés, plus il y aura d’agents cognitifs intelligents avec des compétences de jeu sophistiquées pour interagir avec des environnements 3D complexes. Les résultats seront évalués par Google et la communauté de l’AI afin de mieux comprendre comment utiliser le DeepRL.

Vers la création de jeux-vidéo VR imprévisibles 

Le DeepRL pourrait déboucher sur la création de jeux VR imprévisibles qui gardent toujours une certaine fraicheur. On ne peut pas dire clairement d’après l’information publiée par Google si DeepMind Lab rapportera immédiatement de l’argent aux développeurs de jeux qui travailleront sur les jeux à venir. On ne sait pas non plus si, à un moment donné, DeepMind Lab pourra être utilisé pour créer de nouveaux jeux et combler le fossé qui existe dans le développement de jeux. Les développeurs de jeux utilisent des outils de création comme Unity3D et Unreal Engine pour créer les actifs 3D que l’on retrouve dans les jeux et pour programmer les éléments interactifs afin d’offrir une expérience utilisateur convaincante. Les développeurs programment les actifs pour interagir avec les scripts construits avec des langages de procédure comme le C# et JavaScript pour des raisons de productivité et de rapidité. La seule alternative est la programmation native en C++, plus puissante, mais sa complexité la rend incompatible avec un objectif de productivité.

En octobre dernier, lors de la conférence développeurs Connect, Oculus avait dévoilé le prototype de son casque Santa Cruz. Les « six degrés de liberté » (6DoF) de Santa Cruz sont uniques parce qu'ils permettent un va-et-vient entre le réel et le virtuel. Des systèmes VR plus sophistiqués, comme le HTC Vive, disposent également d’un 6DoF qui cartographie les déplacements physiques de l'utilisateur dans l'espace réel et les transposent en expérience VR dans le casque. Par exemple, avec le 6DoF VR, une personne marchant et se penchant en avant dans un espace réel pourra expérimenter le même mouvement dans la réalité virtuelle. Par contre, le suivi 6DoF reprend les données de l'unité de mesure inertielle (IMU) du casque, qui sont elles-mêmes une combinaison de données provenant du gyroscope, de l’accéléromètre et d'autres capteurs disposés sur des balises laser externes installées sur des trépieds ou fixées aux murs.