Réalité augmentée, Réalité Virtuelle, Réalité mixte (RA, RV, RM) et Analyse des signaux cérébraux


 

Ce projet étudie l’analyse des signaux cérébraux (EEG), comme nouvelle modalité, pour renforcer l’interaction entre la réalité virtuelle et la réalité augmentée. Dans le détail, ce projet comporte plusieurs volets, comme la mesure de l’attention, ou de l’image mentale de l’utilisateur.

 
 

Dans ce projet, nous avons présenté plusieurs prototypes combinant un casque AR existant, le HoloLens 2 de Microsoft ou le casque RV Oculus Rift, avec un système d'interfaces cerveau-ordinateur (ICO) basé sur notre projet . Nous avons effectué plusieurs expériences pour valider ce concept.

La première expérience cherche à améliorer la créativité de l’utilisateur.  Il imagine un objet, et celui-ci apparaît devant lui via l’écran de son casque Holosens.

Dans la seconde expérience, nous étudions la viabilité des Interfaces Cerveaux Ordinateurs (ICO) pour développer l’attention visuo-spatiale périphérique - un processus de focalisation de l’attention visuelle, dans différentes zones du champ visuel, indépendamment du mouvement oculaire. Nous avons procédé sans s’appuyer sur des réponses à des stimuli visuels.

En dernier lieu, nous avons étudié les modifications sous-jacentes de l'attention et le temps de réponse de l'utilisateur à l’aide des Interfaces Cerveau-Machine. Ces indicateurs pourraient être utilisés comme caractéristiques spécifiques de l'activité cérébrale dans le cortex préfrontal, suite à la recherche sur l'hyperscanner et les signatures individuelles de chaque personne.

Cliquez ici pour voir les prix et récompenses


Recherches et publications:

 

A Pilot Study using Covert Visuospatial Attention as an EEG-based Brain Computer Interface to Enhance AR Interaction.

2021 International Symposium on Wearable Computers. Association for Computing Machinery, New York, NY, USA, 43–47

Nataliya Kosmyna, Chi-Yun Hu, Yujie Wang, Qiuxuan Wu, Cassandra Scheirer, and Pattie Maes

Assessing Internal and External Attention in AR using Brain Computer Interfaces: A Pilot Study.

2021 IEEE 17th International Conference on Wearable and Implantable Body Sensor Networks (BSN), 2021, pp. 1-6.

N. Kosmyna, Q. Wu, C. -Y. Hu, Y. Wang, C. Scheirer and P. Maes. 2021

AttentivU: A Wearable Pair of EEG and EOG Glasses for Real-Time Physiological Processing

Nataliya Kosmyna, 2020