GENESIS - Exploiter les neuromarqueurs pour les systèmes immersifs de la prochaine génération

Coordinateur : Monsieur Hakim Si Mohammed, Maître de conférences, Université de Lille - CRIStAL

Équipe : BCI du Groupe Thématique : I2C.

Dates : 10/21 - 09/24

Résumé :

Notre but est d’ouvrir la voie à une nouvelle génération de systèmes de réalité virtuelle (RV) exploitant l’activité électrophysiologique du cerveau par le biais d’une interface cerveau-ordinateur (ICU) passive afin d’améliorer l’immersion dans les environnements virtuels. L’objectif est de fournir aux systèmes de RV des moyens d’évaluer l’état mental des utilisateurs grâce à la classification en temps réel des données électroencéphalographiques (EEG). Cela améliorera l’immersion des utilisateurs dans la RV en réduisant ou en prévenant le mal du cybe et en augmentant les niveaux d’incarnation grâce à l’adaptation en temps réel du contenu virtuel aux états mentaux des utilisateurs tels que fournis par l’ICB.

Pour atteindre cet objectif, la méthodologie proposée consiste à (i) étudier les marqueurs neurophysiologiques associés aux signes précoces du mal du corps, ainsi que les neuromarqueurs associés à l’apparition d’anomalies dans la RV ; (ii) s’appuyer sur les méthodes existantes de traitement des signaux pour la classification en temps réel de ces marqueurs en les associant aux états mentaux correspondants et (iii) fournir des mécanismes pour l’adaptation du contenu virtuel aux états mentaux estimés.

Abstract

Our aim is to pave the way to a new generation of virtual reality (VR) systems leveraging the electrophysiological activity of the brain through a passive brain-computer interface (BCI) to level-up the immersion in virtual environments. The objective is to provide VR systems with means to evaluate the users’ mental states through the real-time classification of electroencephalographic (EEG) data. This will improve users’ immersion in VR by reducing or preventing cybersickness, and by increasing levels of embodiment through the real time adaptation of the virtual content to the users’ mental states as provided by the BCI.

In order to reach this objective, the proposed methodology is to (i) investigate neurophysiological markers associated with early signs of cybersickness, as well as neuromarkers associated with the occurrence of VR anomalies ; (ii) build on existing signal processing methods for the real-time classification of these markers associating them with corresponding mental states and (iii) provide mechanisms for the adaptation of the virtual content to the estimated mental states.