Physiological features for mental state monitoring in real life conditions.

Tiwari, Abhishek (2021). Physiological features for mental state monitoring in real life conditions. Thèse. Québec, Doctorat en télécommunications, Université du Québec, Institut national de la recherche scientifique.

Prévisualisation

PDF Télécharger (4MB) | Prévisualisation

Résumé

Les états mentaux désignent les états psychologiques et les émotions d’un individu à un instant donné. Des états mentaux négatifs constants, comme le stress et l’anxiété, peuvent entraîner une baisse des perfor mances et de l’efficacité au travail. Ces états peuvent également provoquer un épuisement professionnel et entraîner divers troubles de la santé mentale. À long terme, ils peuvent également provoquer des maladies cardiovasculaires chez les individus. Par conséquent, le coût global associé à la santé mentale dépasse de loin celui des maladies physiques. Actuellement, la surveillance de l’état mental se fait à l’aide de ques tionnaires subjectifs, d’un suivi audio-vidéo et de signaux physiologiques. Parmi ces derniers, les signaux physiologiques permettent une mesure continue, discrète et objective des états mentaux tout en posant très peu de problèmes de confidentialité. Cependant, les modèles de surveillance de l’état mental utilisant des signaux physiologiques ont traditionnellement été collectées dans des conditions de laboratoire contrôlées, à l’aide d’un équipement d’acquisition de données encombrant. Ces expériences tentent de contrôler le bruit et d’autres facteurs de confusion tels que l’activité physique et le rythme circadien, pour n’en citer que quelques uns. Par conséquent, les modèles développés pour de telles données ne peuvent pas être utilisés dans des conditions réelles. Dans ce doctorat, nous présentons les étapes vers le développement de modèles de suivi de l’état mental pour des données collectées dans des conditions réelles. Pour atteindre cet objectif, trois outils principaux ont été explorés. Il s’agit (i) des caractéristiques non linéaires, (ii) de la robustesse au bruit des caractéristiques, et (iii) de l’utilisation de modalités multiples physiologiques. Tout d’abord, nous avons exploré les caractéristiques de motifs robustes au bruit pour la reconnais sance des emotions à partir de l’EEG. Le résultat de cette exploration a montré que les caractéristiques basées sur les motifs peuvent surpasser la densité spectrale de puissance et les caractéristiques d’asymétrie traditionnellement utilisées tout en étant robustes aux artefacts. Les caractéristiques basées sur les mo tifs montrent une amélioration supplémentaire lors de la fusion avec les caractéristiques de référence, ce qui suggère une complémentarité des caractéristiques. Deuxièmement, nous avons évalué diverses carac téristiques d’entropie multi-échelle pour l’évaluation de la charge mentale dans des conditions ambulatoires. L’entropie de permutation multi-échelle est plus performante que les autres méthodes basées sur l’entropie. En outre, les caractéristiques proposées ont permis d’obtenir des performances comparables pour différents niveaux d’activité physique. Ensuite, nous avons proposé des caractéristiques de descripteur de sous-bande -complexité et -spectral pour l’évaluation du stress et de l’anxiété dans des conditions réelles. Ces caractéris tiques tentent de séparer les effets des facteurs de confusion en caractérisant séparément le comportement des hautes et basses fréquences des séries d’intervalles entre les battements. Les caractéristiques proposées sont plus performantes que les ensembles de caractéristiques non linéaires de référence qui sont couramment utilisés dans des conditions ambulatoires et en conditions réelles. Enfin, nous avons montré que les systèmes multimodaux contribuent à améliorer les performances de l’évaluation de la charge mentale et du stress en renforçant la robustesse au bruit et en améliorant les performances sur des fenêtres à court terme. Nous espérons que les résultats présentés ici contribueront au développement de méthodes d’évaluation des états mentaux dans des conditions réelles.

Mental states refer to psychological states and emotions of an individual at any given instant. Constant negative mental states (e.g. stress, anxiety) can lead to a decline in job performance and efficiency. Such states can also cause job burnout and lead to various mental health disorders. Over the long term, they can also cause cardiovascular diseases in individuals. As a result, the overall cost associated with mental health far exceeds that of physical ailments. Currently, mental state monitoring is done using subjective questionnaires, audio-visual monitoring, and physiological signals. Of these, physiological signals allow for continuous, unobtrusive, and objective measurement of mental states while having very few privacy concerns. However, mental state monitoring models using physiological signals have traditionally been developed for data collected in controlled laboratory conditions using bulky data acquisition equipment. Such experiments try to control for noise and other confounding factors such as physical activity, circadian rhythm to name to few. As a result, models developed for such data cannot be used in real life a.k.a “in-the-wild” conditions. In this doctoral thesis, we present the steps towards the development of mental state monitoring models for data collected in highly ecological conditions. To achieve this goal, three main tools have been explored. These include (i) non-linear physiological features, (ii) building noise robustness in the features, and (iii) using multiple physiological modalities. First, we explored noise-robust motif features for EEG based affect recognition. These features focus on the shape of the time series while ignoring the amplitude. The outcome of this exploration showed that motif based features can outperform traditionally used power spectral density and asymmetry features while being robust to artefacts. The motif based features show further improvement on fusion with the benchmark features thus suggesting complementarity of the features. Secondly, we evaluated various multi-scale entropy features for heart rate variability based mental workload assessment in ambulatory conditions. Multi-scale permutation entropy outperforms other entropy based methods. Additionally, comparable performance for different physical activity levels was achieved using the proposed features. Next, we proposed subband - complexity and -spectral descriptor heart rate variability features for stress and anxiety evaluation for in-the wild conditions. These feature try to separate the effects of confounding factors by separately characterizing the high and low frequency behavior of the inter-beat interval series. The proposed features outperform the benchmark and commonly used non-linear feature sets in ambulatory and in-the-wild conditions. Lastly, we showed that multi-modal systems help improve performance for mental workload and stress assessment by building noise robustness as well as improving performance over short term windows. It is hoped that the insights presented herein help in the further development of methods for assessment of mental states in highly ecological conditions.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago H.
Mots-clés libres:	états mentaux; signaux physiologiques; EEG; variabilité de la fréquence cardiaque; stress; anxiété; wearable; mental states; physiological signals; heart rate variability; stress; anxiety; wearables
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	19 nov. 2021 14:28
Dernière modification:	19 nov. 2021 14:28
URI:	https://espace.inrs.ca/id/eprint/12064

Gestion Actions (Identification requise)

Modifier la notice