Taking active and passive bci outside: on the importance of pre-processing and amplitude modulation features.

Rosanne, Olivier (2024). Taking active and passive bci outside: on the importance of pre-processing and amplitude modulation features. Thèse. Québec, Université du Québec, Institut national de la recherche scientifique, Doctorat en sciences de l'énergie et des matériaux, 172 p.

Prévisualisation

PDF Télécharger (16MB) | Prévisualisation

Résumé

Les Interfaces Cerveau-Ordinateur (ICOs) sont des systèmes qui mesurent et interprètent l’activité cérébrale pour fournir un retour d’information ou effectuer des actions, permettant un contrôle direct ou une interaction avec d’autres systèmes par la pensée. Parmi les différents capteurs capables de mesurer l’activité cérébrale, les EEG sont les plus souvent employés, car ils constituent une solution peu coûteuse, non-invasive, et offrent une excellente résolution temporelle. Bien que leur efficacité soit inférieure à celle des méthodes invasives comme l’ECoG, les EEG ont l’avantage de ne pas nécessiter une intervention chirurgicale, permettant ainsi leur utilisation par la grande majorité des individus. À l’origine, les ICOs ont été principalement développées pour des applications médicales, offrant des alternatives non-pharmacologiques pour traiter et assister quotidiennement les patients souffrant de troubles neurologiques. Elles permettent notamment d’améliorer l’autonomie des patients pendant la rééducation et de réduire la charge de travail pour le personnel soignant. Sur le plan économique, une croissance considérable est attendue dans le marché des ICOs, avec des bénéfices allant de 2 milliards USD en 2023 atteignant entre 5,4 et 10,65 milliards USD d’ici 2030. Cet intérêt relativement récent pour les ICOs est lié à la miniaturisation des composants électroniques, à l’amélioration des performances des batteries et au perfectionnement des capteurs EEG dits ‘secs’. Ces innovations ont permis une réduction des coûts, faisant passer les ICOs des expériences contrôlées en laboratoire à une utilisation accessible au grand public. L’avènement de la réalité virtuelle (RV) et des technologies d’apprentissage profond a également ouvert de nouvelles perspectives pour les ICOs, en améliorant l’immersion et en personnalisant les contenus en fonction des réactions et des besoins spécifiques de chaque utilisateur. Cependant, les performances des ICOs restent insuffisantes et varient fortement au cours du temps et d’un utilisateur à un autre. Les facteurs environnementaux impactent la qualité du signal, qui est fortement dégradé par de multiples sources d’interférences. De plus, des facteurs liés à l’utilisateur comme la fatigue, la frustration, et le niveau d’attention, ainsi que les variations structurelles d’un individu à un autre, affectent également les performances des ICOs. Ces défis créent une boucle de rétroaction négative où la diminution de la précision réduit la fiabilité du système et la satisfaction de l’utilisateur. Pour relever ces défis, cette thèse doctorale propose des solutions pour améliorer les performances, la portabilité et l’interprétabilité des systèmes ICO. Trois innovations principales ont été développées. Premièrement, nous proposons d’incorporer la modulation d’amplitude (MA) comme nouvelle représentation des signaux EEG pour améliorer la robustesse des ICOs actives. Ces caractéristiques ont montré une robustesse aux artefacts dans les applications ICOs passives, suggérant des avantages potentiels pour les ICOs actives. Deuxièmement, nous présentons un filtre adaptatif conçu pour éliminer les artefacts de mouvement spécifiques aux données EEG mobiles. Ce filtre a été testé à l’aide d’une base de données collectée auprès de participants réalisant la batterie de tâches Multi-Attribute Task Battery-II dans diverses conditions. Troisièmement, nous explorons l’impact de différents niveaux de suppression d’artefacts sur la caractérisation de la cybercinétose, en proposant l’utilisation de la modulation d’amplitude EEG pour la détection et l’interprétation de l’activité corticale relative à la cybercinétose. À travers cette thèse, nous espérons améliorer la fiabilité des ICOs et contribuer à leur transition vers des applications pratiques pour le grand public.

ABSTRACT Brain Computer Interface (BCI) system measure and interpret brain activity to provide feedback or perform actions, allowing for direct control or interaction with other systems directly with the mind. Among the various sensors capable of measuring brain activity, Electroencephalogram (EEG) is the most commonly used because it is an inexpensive and non-invasive solution that offers excellent temporal resolution. Although its effectiveness is inferior to that of invasive methods such as ECoG, EEG has the advantage of not requiring surgical intervention, making it accessible to the vast majority of individuals. Initially, BCIs were primarily developed for medical applications, offering non-pharmacological alternatives to treat and assist individuals with neurological conditions. They allow patients, for instance, to enhance their autonomy during rehabilitation and reduce the workload of the healthcare staff. From an economic perspective, significant growth is expected in the BCI market, with profits ranging from 2 billion USD in 2023 to between 5.4 and 10.65 billion USD by 2030. This relatively recent interest in BCIs can be attributed to technological innovations such as the miniaturization of electronic components, improved battery performance, and refinement of dry EEG sensors. These advancements have resulted in cost reductions, allowing BCIs to transition from controlled laboratory experiments to more accessible and publicly available applications. The emergence of Virtual Reality (VR) and deep-learning technologies has also created new opportunities for BCIs to improve immersion and customize content based on the unique reactions and needs of each user. However, the performance of BCIs remains insufficient, and varies significantly over time and among users. Environmental factors affect the quality of the signals, which are heavily degraded by multiple sources of interference. Additionally, user-related factors, such as fatigue, frustration, attention level, and individual structural variations, also affect the performance of BCIs. These challenges create a negative feedback loop in which a decrease in precision reduces the reliability of the system and user satisfaction. In this doctoral thesis, we present solutions to improve BCI performance, portability, and interpretability. Three main innovations have been developed. First, we propose the use of Amplitude Modulation (AM) as a new representation of EEG signals to improve the robustness of the active BCIs. These features have shown robustness to artifacts in passive BCI applications, suggesting the potential advantages for active BCIs. We employed them across 21 binary classification tests from combinations of seven mental tasks and we found that the average kappa score for these classifications increased from 0.57 to 0.62 when combined with conventional PSD features. An examination of the top-selected features showed the predominance of the AM-based measures, comprising over 77% of the top-ranked features. Second, we present an adaptive filter designed to eliminate specific movement artifacts in EEG mobile data. This filter was tested using a dataset collected from participants performing Multi-Attribute Task Battery-II under various conditions. Accuracy as high as 95% could be achieved with a random forest based mental workload classifier with ambulant users. Third, we explored the impact of different artifact removal levels on cybersickness characterization, proposing the use of EEG amplitude modulation to detect and interpret cortical activity related to cybersickness. Experimental results show that minimal pre-processing retains artifacts that may be useful for cybersickness detection (e.g., head and eye movements), while more advanced methods enable the extraction of more interpretable neural patterns that may help the research community gain additional insights on the neural underpinnings of cybersickness. Our experiments show that the proposed amplitude modulation features comprise roughly 60% of the top-selected features for EEG-based cybersickness detection. With these innovations, we aim to improve the reliability of BCIs and contribute to their transition towards practical applications for the general public.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago
Co-directeurs de mémoire/thèse:	Alves de Oliveira Jr, Alcyr
Mots-clés libres:	Electroencephalographie ; interface cerveau-ordinateur ; modulation d’amplitude ; elimination des artefacts ; filtrage adaptatif ; etat mental ; evaluation de la charge mentale ; activite physique ; electroencephalographie ambulatoire ; cybercinetose ; realite virtuelle ; electroencephalography ; brain-computer interface ; amplitude modulation ; artifact removal ; adaptive filtering ; mental state ; mental workload assessment ; physical activity ; ambulatory EEG ; cybersickness ; virtual reality
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	29 nov. 2024 02:17
Dernière modification:	29 nov. 2024 02:17
URI:	https://espace.inrs.ca/id/eprint/16217

Gestion Actions (Identification requise)

Modifier la notice