La technologie de réalité virtuelle a énormément progressé : en enfilant un casque, il devient possible de s’immerger dans un monde inconnu ou de se projeter sur une plage de Jamaïque « comme si l’on y était ». Mais il reste encore du chemin à parcourir pour interagir avec ces mondes, par exemple, ramasser un objet virtuel avec ses propres mains. D’après une annonce faite vendredi, il semble que les chercheurs de Microsoft ont franchi une étape majeure dans cette direction. En effet, en partant d’une Xbox One Kinect standard, ils ont réussi à mettre au point un système de suivi précis et flexible sans modifier le hardware. Handpose, c’est son nom, utilise la technologie d’exploration de la caméra et un logiciel développé par ces mêmes chercheurs pour suivre les mouvements de la main et des doigts et les transmettre à l'écran.

Les chercheurs de Microsoft ne sont pas les premiers à utiliser ce genre de système, mais selon eux, il est plus avancé et donne de meilleurs résultats que d’autres solutions. En particulier, le positionnement de la caméra s’avère extrêmement souple et il reste précis même à une distance certaine. Comme le montre une vidéo, même en s’éloignant de plusieurs mètres de la caméra, Handpose arrive encore à « lire » leurs gestes avec précision. Le système fonctionne également quand la caméra est un peu bousculée. Ces progrès indiquent que le système est plus robuste, et donc plus adapté à un usage dans le monde réel.

Un possible couplage avec le casque Oculus Rift

Les chercheurs ont prévu de faire une démonstration de Handpose pendant la conférence Computer Human Interaction (CHI 2015) qui se tient du 18 au 23 avril à Séoul. La Kinect est déjà capable de suivre les mouvements du corps et certains gestes, comme un coup de pied ou un coup de poing. Mais il est plus difficile de suivre les mouvements du poignet et des doigts, car ils sont plus variés et souvent moins prononcés. Handpose pourrait éventuellement être utilisé dans des jeux compatibles Kinect, ou avec un casque de réalité virtuelle comme l'Oculus Rift. Dans ce cas, la main réelle pourrait servir à soulever, déplacer ou poser des objets sur l'écran.

Le système de Microsoft pourrait également servir en robotique, pour manipuler des substances dangereuses à distance en guidant l’opération en réalité virtuelle sur un écran. Des robots pourraient également l’utiliser pour imiter les mouvements des mains humaines. Microsoft espère, entre autres choses, que Handpose permettra aux robots de reproduire des mouvements complexes, par exemple, faire pivoter le couvercle d'un récipient pour l’ouvrir. Handpose pourrait également être couplé à un système d’intelligence artificielle. « On franchirait alors une nouvelle étape dans le sens où les ordinateurs pourraient interpréter notre langage corporel, notre état d’esprit, jusqu’à savoir ce que nous attendons d’eux quand nous pointons vers un objet », a déclaré Microsoft.