Enhancing motor imagery-based brain-computer interface efficacy using multisensory virtual reality training.

Amini Gougeh, Reza (2023). Enhancing motor imagery-based brain-computer interface efficacy using multisensory virtual reality training. Mémoire. Québec, Maîtrise en sciences des télécommunications, Université du Québec, Institut national de la recherche scientifique, 137 p.

Prévisualisation

PDF Télécharger (23MB) | Prévisualisation

Résumé

Le nombre de survivants d’un accident vasculaire cerebral (AVC) souffrant de déficiences motrices et d’autres troubles invalidants est en augmentation dans le monde entier. L’utilisation d’interfaces cerveaumachine (ICH) basées sur l’imagerie motrice (IM) s’est avérée prometteuse en tant qu’outil de rééducation neurologique pour la thérapie post-AVC. Les ICH ont été développées pour permettre aux utilisateurs de communiquer avec le monde extérieur en traduisant l’activité cérébrale en signaux de contrôle. L’IM est un paradigme courant dans le contrôle des ICH, où l’utilisateur imagine des mouvements, par exemple de son bras gauche ou droit, et où des classificateurs sont ensuite entraînés à détecter cette intention directement à partir des signaux d’électroencéphalographie (EEG). Pour certains utilisateurs, cependant, il est difficile d’obtenir des modèles dans le signal EEG qui peuvent être détectés avec les caractéristiques et les classificateurs existants. C’est pourquoi de nouvelles stratégies de contrôle de l’utilisateur et de nouveaux paradigmes d’apprentissage sont très recherchés pour aider à améliorer les performances d’IM. L’entrainement en réalité virtuelle (RV) est apparue comme un outil potentiel où l’amélioration de l’engagement de l’utilisateur et du niveau d’immersion a permis d’améliorer la précision les ICH. Dans cette thèse, nous prenons les premières mesures pour explorer si la formation RV multisensorielle, où non seulement le feedback audio-visuel est fourni, mais aussi haptique et olfactif, peut encore améliorer les niveaux d’expérience de l’utilisateur, et f inalement, améliorer la précision des ICM. Par conséquent, dans un premier temps, nous avons exploré l’influence des expériences RV multisensorielles sur le sentiment de présence, d’immersion, de réalisme et d’engagement perçu par l’utilisateur, ainsi que sur la qualité globale de l’expérience. Ensuite, un casque de RV intégré à un ICH, un dispositif de diffusion d’odeurs et un gant haptique ont été utilisés pour développer un protocole d’entraînement visant à améliorer la détection des IM. Les expériences ont montré que l’entraînement multisensoriel a considérablement amélioré la détection de l’IM par rapport à l’entraînement RV audio-visuel conventionnel. En particulier, une activité accrue dans les six filtres de motifs spatiaux communs utilisés a également été observée après la phase d’entrainement multisensorielle et des pics de précision ont pu être atteints avec une durée de fenêtre plus courte (6-7 secondes) par rapport aux durées optimales nécessaires avant la formation (8 secondes). Dans l’ensemble, ces résultats suggèrent que l’entraînement immersif multisensoriel pourrait conduire à une amélioration significative des performances d’IM, ce qui pourrait offrir un nouveau paradigme pour les futures études ICH-IM.

The number of stroke survivors suffering from motor impairment and other disabling conditions is on the rise around the globe. The use of motor imagery (MI)-based brain-computer interfaces (BCI) has shown promise as a neurorehabilitation tool for post-stroke rehabilitation therapy. BCIs have been developed to allow users to communicate with the external world by translating brain activity into control signals. MI has been a popular paradigm in BCI control where the user imagines movements of, e.g., their left and right limbs and classifiers are then trained to detect such intent directly from electroencephalography (EEG) signals. For some users, however, it is difficult to elicit patterns in the EEG signal that can be detected with existing features and classifiers. As such, new user control strategies and training paradigms are highly sought-after to help improve motor imagery performance. VR training has emerged as one potential tool where improvements in user engagement and level of immersion have shown to improve BCI accuracy. In this thesis, we take the f irst steps to explore if multisensory VR training, where not only audio-visual feedback is provided, but also haptic and olfactory, can further improve levels of user experience, and ultimately, improve BCI accuracy. Therefore, as a first step, we explored the influence of multisensory VR experiences on the user’s perceived sense of realism, presence, immersion, and engagement, as well as overall quality of the experience. Next, a BCI-embedded VR headset, an off-the-shelf scent diffusion device, and a haptic glove with force feedback were used to develop a training protocol aimed at improving motor imagery detection. Experiments showed that multisensory training boosted MI detection significantly relative to conventional audio-visual VR training. In particular, increased activity in the six common spatial pattern filters used were also observed after the multisensory training phase and peaks in accuracy could be achieved with shorter window duration (6-7 seconds) relative to the optimal durations needed prior to training (8 seconds). Overall, these findings suggest that multisensory immersive training could lead to significantly better motor imagery performance, thus may offer a new paradigm for future MI-BCI studies.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Falk, Tiago H.
Mots-clés libres:	réalité virtuelle; multisensoriel; expérience média immersive; qualité d’expérience; informatique physiologique; virtual reality; multisensory; immersive media experience; quality of experience; physiological computing
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	30 mars 2023 19:02
Dernière modification:	30 mars 2023 19:02
URI:	https://espace.inrs.ca/id/eprint/13237

Gestion Actions (Identification requise)

Modifier la notice