Skip to content. | Skip to navigation

Emergences

Lettre d'information n° 43

Image emergences pour impression
Personal tools
You are here: Home 2016 Lettre d'information n° 43 Contrôler une main virtuelle à six doigts
Document Actions

Contrôler une main virtuelle à six doigts

Que se passe-il quand, en réalité virtuelle, on nous présente une main à six doigts ? Surprise : la plupart des gens se l’approprient et essayent d'en prendre le contrôle. Tel est l'enseignement d'une récente expérience conduite par un groupe de chercheurs du centre Inria Rennes – Bretagne Atlantique. Comme les scientifiques le font remarquer, avec l'avalanche d'applications et de jeux immersifs qui s'annonce, il existe un besoin croissant de savoir jusqu'à quel point un être humain peut se glisser dans un avatar dont le corps n'a pas forcément la même apparence ou structure que le sien.

Que se passe-il quand, en réalité virtuelle, on nous présente une main à six doigts  ?  Surprise  : la plupart des gens se l’approprient et essayent d'en prendre le contrôle. Tel est l'enseignement d'une récente expérience conduite par un groupe de chercheurs du centre Inria Rennes – Bretagne Atlantique. Comme les scientifiques le font remarquer, avec l'avalanche d'applications et de jeux immersifs qui s'annonce, il existe un besoin croissant de savoir jusqu'à quel point un être humain peut se glisser dans un avatar dont le corps n'a pas forcément la même apparence ou structure que le sien.

C'était une expérience en deux parties durant laquelle les participants portaient un casque Oculus Rift et devaient manipuler une main virtuelle à six doigts, explique le chercheur Ferran Argelaguet (1). D'abord ils devaient reproduire des mouvements de doigts présentés dans la scène virtuelle.” Ouvrir puis fermer la main. Écarter puis resserrer les doigts. Pianoter dans le vide. “Le but était d'évaluer comment la stimulation visuo-motrice peut influencer les sentiments d'appropriation et de contrôle. Autrement dit, l'impression que cette main virtuelle est notre vraie main et qu'on en a la complète maîtrise."

Quant au doigt supplémentaire, “nous l'avons placé entre l'annulaire et l'auriculaire, précise Anatole Lécuyer (2). Son mouvement est interpolé à partir des mouvements des deux doigts environnants. Si je plie l'annulaire et/ou l'auriculaire, alors le sixième doigt virtuel se plie aussi.

Pourquoi avoir choisi cet endroit  ? “Nous avons voulu nous situer dans ce qui était anatomiquement plausible, répond le chercheur Ludovic Hoyet (3). Si on essaye de plier le petit doigt, l'annuaire fait naturellement de même . Nous nous sommes donc dit qu'en insérant un autre doigt entre ces deux-là, il serait plausible qu’ils soient tous en quelque sorte couplés.

Et de fait, quand on a demandé explicitement aux participants de lever ce sixième doigt, malgré la différence structurelle, presque tous ont répondu positivement à la possibilité de le contrôler en actionnant physiquement soit l'annulaire soit l'auriculaire. Tous ces mouvements étaient captés à l'aide d'un dispositif de suivi de mouvement  « Leap Motion  ». Avantage de ce système : pas besoin de porter des gants ou des capteurs. L'appareil se fait discret. Moins invasif, il est donc moins susceptible de perturber le sentiment immersif.

L'illusion de la main en caoutchouc

Le deuxième exercice s'inspire de l'illusion de la main en caoutchouc, une célèbre expérience menée en 1998. Dans sa version d'origine, les participants posent une main sur la table mais ne la voient pas. À la place, ils regardent une main en caoutchouc très réaliste. Étonnamment, quand un expérimentateur passe un pinceau simultanément sur les deux mains (la vraie et la fausse), les gens ont progressivement l'impression de ressentir le contact sur la main en caoutchouc. Autrement dit, la vue et le toucher se combinent pour générer un sentiment d'appropriation d'une fausse partie du corps.

Les scientifiques d'Inria ont revisité cette expérience en concevant un protocole dans lequel “on applique un pinceau sur les vrais doigts tout en présentant simultanément la même action dans la scène virtuelle, explique Ferran Argelaguet. Quand le pinceau virtuel caresse le sixième doigt dans cette scène virtuelle, simultanément un vrai pinceau caresse un vrai doigt (en l'occurrence l'annulaire) pour créer une stimulation visuo-tactile cohérente et renforcer le sentiment d'appropriation.  Là aussi, la majorité des participants a très bien répondu à ce type de stimulation. Ils ont tenté de bouger le sixième doigt en levant l'un des doigts adjacents.

Nous avons aussi mené la même expérience avec un groupe contrôle chez qui le doigt supplémentaire était présent mais rigide, raconte Anatole Lécuyer. De plus, le pinceau ne passait jamais sur lui de façon à simuler l'impression que ce doigt ne donnait aucun retour tactile, comme s'il était mort.” Et là, tout à coup, le taux de réponse a dégringolé avec seulement environ un tiers des participants qui essayaient de prendre son contrôle. Même phénomène pour le premier exercice visuo-moteur : seulement 47% des personnes ont tenté de contrôler le sixième doigt quand celui-ci était rigide.

En plus d'observer les réponses motrices, les scientifiques ont aussi étudié la perception des participants via des questionnaires subjectifs. Ils ont en outre enregistré les réactions vocales. “La plupart s'exclamaient : ‘Whaou ! J'ai six doigts !’ Ce qui a finalement donné son titre à notre publication dans Frontiers in Robotics and AI (4).”  L'idée à retenir  ? “Les gens ont accepté ce doigt comme faisant partie de leur main et le protocole de réalité virtuelle que nous avons proposé semble efficace pour générer ce type d’illusions.”

Déferlante de casques VR

Ce domaine de recherche est actuellement très en vogue car “on assiste à une explosion économique du champ de la réalité virtuelle. On va avoir dans les années à venir une diffusion massive des visio-casques. Celui de Facebook (l'Occulus Rift), mais aussi celui de Google, de Microsoft, de Sony... Très vite va donc se poser la question de quel avatar va-t-on mettre à la place de notre corps. C'est une question très actuelle pour les constructeurs de casques. Quel est le rapport que l'on tisse avec son corps virtuel. Comment garantir que l'utilisateur va être bien immergé dans la scène à travers son avatar ? Quels sont les effets psychologiques qui peuvent exister derrière ? Que se passe-t-il quand je retire le casque et que je reviens dans le réel ? Est-ce que ces effets persistent ? Comment peut-on les modéliser ? Comment en tenir compte pour la conception de futurs systèmes immersifs. Quelles sont les préconisations que l'on peut faire aux utilisateurs ? En ce moment, il y a un contexte tout à fait pertinent de questionnement autour de ces technologies-là parce qu'énormément  d'applications vont arriver sur le marché.

Et pas seulement autour du jeu vidéo, ajoute Ludovic Hoyet. Il y a beaucoup de situations pour lesquelles des porteurs de casques virtuels seront incarnés par un avatar  : formation professionnelle, entraînement sportif, visio-conférence, cinéma immersif, multimédia, etc.

Afin de mener ces travaux, les chercheurs d'Inria ont dû, au préalable, concevoir une plateforme expérimentale. Cet outil scientifique est désormais accessible à des tierces parties pour leurs besoins de R&D. “Il peut servir à des scientifiques de nombreux domaines. Entre autres  : les neurosciences, les sciences cognitives et la psychologie. Précisons au passage qu'il ne s'agit pas simplement de la mise à disposition d'une plateforme. Nous aimerions aussi partager notre savoir-faire dans la construction rigoureuse de ces protocoles expérimentaux.

-------
Notes :

(1) Ferran Arguelaget est membre de Hybrid, une équipe-projet Inria, Université Rennes 1, Insa Rennes commune à l'Irisa (UMR CNRS 6074). Elle est spécialisée dans l'interaction 3D avec les environnements virtuels en captant à la fois l'activité motrice et cérébrale.

(2) Anatole Lécuyer est responsable de l'équipe Hybrid.

(3) Ludovic Hoyet est membre de MimeTIC, une équipe-projet Inria, École normale supérieure de Rennes (ENS), Université Rennes 2 et Université Rennes 1. Elle fait partie de deux laboratoires : M2S (Mouvement Sport Santé - EA1274) et Irisa. MimeTIC travaille sur la simulation d'humains virtuels.

(4) Lire: "Wow! I Have Six Fingers!": Would You Accept Structural Changes of Your Hand in VR? par Ludovic Hoyet, Ferran Argelaguet, Corentin Nicole et Anatole Lécuyer. Dans : Frontiers in Robotics and AI, Frontiers, 2016, 3 (27).