Hybrid Brain-Computer Interfaces: Improving Mental Task Classification Performance through Fusion of Neurophysiological Modalities.

Banville, Hubert J. (2015). Hybrid Brain-Computer Interfaces: Improving Mental Task Classification Performance through Fusion of Neurophysiological Modalities. Mémoire. Québec, Université du Québec, Institut national de la recherche scientifique, Maîtrise en télécommunications, 164 p.

Prévisualisation

PDF Télécharger (16MB) | Prévisualisation

Résumé

Ce projet démontre l’utilisation de multiples techniques de neuroimagerie pour la classification d’états mentaux dans le contexte d’une interface cerveau-ordinateur (ICO). Basé sur de récentes études en électroencéphalographie (EEG) et en spectroscopie proche-infrarouge (SPIR) ayant démontré que des tâches telles que l’imagerie motrice et l’arithmétique mentale induisent des patrons d’activité neurophysiologique particuliers, un paradigme d’ICO hybride (ICOh) combinant l’EEG et la SPIR est développé afin d’améliorer la performance de classification binaire d’un tel système. Des signaux d’EEG et de SPIR ont été enregistrés sur neuf participants réalisant sept tâches mentales (génération de mots, rotation mentale, soustraction mentale, chant mental, navigation mentale, imagerie motrice et imagerie de visages). Ensuite, des machines à vecteurs de support avec régularisation l1 ont été entraînées sur chacune des paires de tâches possibles 1) en EEG, 2) en SPIR, et 3) en EEG et en SPIR conjointement, afin d’identifier les meilleures tâches et d’évaluer l’utilité d’une approche multimodale. L’évaluation subjective de la charge mentale induite par chaque tâche a aussi été collectée afin d’en estimer la facilité d’utilisation et d’identifier des traits caractéristiques neurophysiologiques qui permettraient de prédire l’expérience subjective d’un utilisateur à travers une analyse des corrélations entre traits caractéristiques et dimensions subjectives. L’approche multimodale EEG-SPIR a permis d’améliorer la valeur maximale du kappa de Cohen (mesure de l’accord entre deux observateurs) de 0.03 lorsque basée sur des fenêtres d’une seconde, ce qui correspond à une augmentation de l’exactitude de classification de 1.5% pour des classes équilibrées. Cette augmentation s’est révélée encore plus importante (variation de 0.17, soit 8.5% en exactitude) lorsque les cinq dernières secondes des tâches étaient prises en compte. L’analyse de l’EEG et de la SPIR a de plus permis de révéler l’importance relative de différentes régions du cerveau et de types de traits caractéristiques, alors que l’analyse des corrélations a permis d’identifier les traits caractéristiques les plus prometteurs pour prédire l’expérience subjective d’un utilisateur, bien qu’une évaluation plus approfondie sera nécessaire pour valider ces résultats. Ces travaux fournissent une base solide pour d’autres études sur les ICOh cherchant à améliorer la performance de classification vers la réalisation d’ICO plus efficaces et flexibles.

The symbols and special characters used in the original abstract could not be transcribed due to technical problems. Please use the PDF version to read the abstract. this work, we demonstrate the use of multiple neuroimaging modalities to classify brain states in a Brain-Computer Interface. Based on recent electroencephalography (EEG) and near-infrared spectroscopy (NIRS) studies that showed that tasks such as motor imagery and mental arithmetic induce specific neural response patterns, we propose a hybrid BCI (hBCI) paradigm in which EEG and NIRS data are fused to improve binary classification performance. We recorded full-head EEG and partial-head NIRS data from nine participants performing seven mental tasks (word generation, mental rotation, subtraction, singing and navigation, motor and face imagery). l1-Support Vector Machines were trained for each possible pair of tasks on 1) EEG features, 2) NIRS features, and 3) EEG and NIRS features together, to identify the best pairs and assess the usefulness of a multimodal approach. Subjective ratings were also collected to assess the usability of each task and carry out a correlation analysis to discover features that could help predict the subjective experience of a user. The EEG-NIRS multimodal approach led to an average increase in peak kappa (an inter-rater agreement metric) of 0.03 when using features extracted from one-second windows (equivalent to an increase of 1.5% in classification accuracy for balanced classes). The increase was much stronger (change of 0.17, corresponding to an 8.5% accuracy increase) when focusing on the last five seconds of the 15-second trials. The EEG and NIRS analyses further unveiled relevant brain regions and important feature types, while preliminary results from the correlation analysis uncovered features that could be used to predict the subjective experience of a BCI user. This work provides a basis for future hBCI studies aiming to improve classification performance toward more efficient and flexible BCIs.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Falk, Tiago H.
Mots-clés libres:	interfaces cerveau-ordinateur; hybride; multimodal; EEG; SPIR; tâches mentales; neuroimagerie fonctionnelle
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	06 avr. 2016 20:29
Dernière modification:	01 oct. 2021 15:16
URI:	https://espace.inrs.ca/id/eprint/3367

Gestion Actions (Identification requise)

Modifier la notice