Jeux vidéo, et amorçage
Dans ce projet, nous avons utilisé le célèbre jeu "DOOM-3", pour saisir l'intention du joueur en utilisant l'activité cérébrale (EEG). A cette fin, nous avons construit un scénario, où nous proposons le stimulus cérébral dont le joueur aura besoin, de façon transparente. Cela afin de l’amener à imaginer le concept souhaité, sans apprentissage spécifique.
Cette amorçage ("priming") est un phénomène implicite de la mémoire, dans lequel l’exposition à un premier stimulus influence la réponse de l'utilisateur à un stimulus postérieur.
Cliquez ici pour plus de vidéos
L'imagerie conceptuelle permet aux interfaces cerveau-ordinateur (ICO) de détecter quand les utilisateurs imaginent des concepts dans une catégorie sémantique : une tasse ou une chaise. À part les applications de contrôle direct des mouvements avec l'imagerie motrice, la sémantique de l'ICO correspond rarement à la sémantique de la tâche. L'imagerie conceptuelle permet d'éliminer le problème en fournissant des interactions plus naturelles pour de nombreuses applications. Nous étudions et contribuons à une utilisation de l'imagerie conceptuelle dans ce projet.
Nous utilisons la sémantique naturelle de l'imagerie conceptuelle afin de proposer une ICO qui contrôle un jeu vidéo, mais où la phase d'entraînement est également intégrée au jeu. Nous proposons d'abord une interaction explicite, où les instructions pour la formation sont transmises dans l'environnement du jeu. Ensuite, nous proposons une phase d'entraînement totalement transparente, qui est entièrement intégrée dans le récit du jeu en utilisant l'amorçage sémantique, une technique de conditionnement psychologique.
Pour ce projet, nous avons utilisé le jeu de tir à la première personne (FPS), Doom 3. Dans ce jeu, nous faisons en sorte que le joueur soit "amorcé" par un stimulus, qui l'amène à imaginer l’action souhaitée. L'amorçage est un effet de mémoire implicite dans lequel l'exposition à un stimulus influence la réponse de l'utilisateur à un autre. En particulier, dans l’amorçage conceptuel, le stimulus est l'image ou la forme d'un objet. Cela a pour effet de consolider le stimulus relatif à l’objet, dont l’image ou la forme est présentée.
Plus concrètement, dans notre étude, nous avons associé l'imagerie mentale de concepts au déclenchement des actions correspondantes dans le jeu. Par exemple, nous avons choisi les concepts "arme" ou "lampe torche" pour leur pertinence dans ce jeu en particulier.
Le joueur commence au début du niveau, dans un couloir sombre, et la lampe torche est activée automatiquement par le moteur du jeu. Dans le même temps, nous enregistrons les signaux cérébraux du joueur. Plus tard, lorsque le joueur se retrouve dans un couloir sombre, notre hypothèse est qu'il se souviendra/rappellera le moment où la lampe torche s’est activée plus tôt dans le jeu. Nous enregistrons et comparons les signaux cérébraux. Si le signal actuel correspond à l'"échantillon" enregistré précédemment de la lampe torche, alors le moteur du jeu allumera la lampe torche.
Nous procédons de la même manière avec “l’arme" : dans la première étape, face au zombie, l'arme apparaît automatiquement dans la main du joueur, et nous enregistrons les signaux de son cerveau. Dans l'étape suivante, le joueur reçoit l'arme automatiquement, s'il y pense.
L'amorçage dans l'entraînement BrainAPI s’effectue lorsque le joueur doit utiliser la lampe torche, ou lorsque le joueur doit utiliser le pistolet pour la première fois. Les joueurs ne connaissent pas les moyens de faire apparaître l'arme et la lampe torche. Nous ne leur avons fourni aucun détail sur la manière d’utiliser leurs signaux cérébraux. Cependant, nous avons utilisé le questionnaire sur l'expérience de jeu (GEQ) couplé à une analyse de fiabilité (alpha de Cronbach).
L'intégration de BrainAPI n'a pas changé le sentiment d’efficacité des 36 joueurs participants à l'étude. Cependant, le rythme et l'immersion ont augmenté de manière significative lors de l'utilisation de BrainAPI. Et cela en comparaison du gameplay classique ou au gameplay avec des instructions "explicites".
