Multisensory immersive experiences and wearable passive brain-computer interfaces to treat and monitor post-traumatic stress disorder (PTSD) symptoms.

de Jesus Junior, Belmir Jose (2025). Multisensory immersive experiences and wearable passive brain-computer interfaces to treat and monitor post-traumatic stress disorder (PTSD) symptoms. Thèse. Québec, Doctorat en sciences des télécommunications, Université du Québec, Institut national de la recherche scientifique, 132 p.

Prévisualisation

PDF - Version acceptée Télécharger (16MB) | Prévisualisation

Résumé

Les applications de réalité virtuelle immersive (RV) sont en plein essor dans de nombreux domaines, car elles favorisent des niveaux élevés d’engagement, d’immersion et de qualité de l’expérience (QoE). L’un des domaines d’intérêt de cette recherche doctorale est la santé mentale, en particulier pour aider à traiter les symptômes du syndrome de stress post-traumatique (SSPT) et pour la gestion de l’anxiété. Les solutions actuelles de RV ne stimulent toutefois, que deux de nos cinq sens (audio et visuel), et ne sont donc pas optimales pour promouvoir le plus haut niveau d’immersion et d’« être là ». Pour pallier cette limitation, des innovations récentes dans le domaine des dispositifs olfactifs et haptiques portables ont vu le jour, faisant des expériences immersives multisensorielles une réalité.

Dans cette thèse de doctorat, notre objectif principal est d’explorer les potentiels avantages d’une expérience d’immersion multisensorielle dans la nature, en tant qu’intervention thérapeutique pour les participants diagnostiqués avec un trouble de stress post-traumatique (TSPT). Nous commençons par quantifier l’impact de la stimulation de sens supplémentaires (du visuel seul à l’audio-visuel-olfactif-haptique) sur l’expérience globale de l’utilisateur, ainsi que sur plusieurs facteurs d’influence humaine (FIH), à savoir : le sentiment de réalisme, d’immersion, de présence, de flux (perte de la notion de temps), les états émotionnels, l’engagement et les niveaux de la cybercinétose des utilisateurs. L’impact est quantifié à la fois subjectivement, par le biais de questionnaires, et objectivement à l’aide de dispositifs portables et de biomarqueurs extraits de la fréquence cardiaque, de la fréquence respiratoire, de la température de la peau, du pouls du volume sanguin et des signaux d’activité électrodermale. Des expériences menées avec seize participants ont montré que plus les sens étaient stimulés, plus les FIH et la qualité de l’expérience perçue par l’utilisateur étaient élevés. Dans l’ensemble, l’ajout de l’odorat a entraîné les plus fortes augmentations de tous les FIH testés, sans aucun impact sur la cybercinétose.

En nous appuyant sur les résultats de la première expérience, nous procédons à l’expérience principale de cette recherche doctorale, impliquant l’utilisation de l’immersion multisensorielle audiovisuelle-olfactive dans la nature, avec vingt participants diagnostiqués comme souffrant de SSPT par leurs médecins. Les patients ont suivi un protocole intense de 12 séances sur une durée de trois semaines, suivi d’une séance de contrôle après trois mois. Pour quantifier les bénéfices de l’intervention, nous nous appuyons sur des tests standardisés d’évaluations des symptômes, sur une batterie d’évaluations du fonctionnement cognitif et sur des mesures de la variabilité de la fréquence cardiaque (VFC). Pour l’évaluation objective, une contribution supplémentaire de cette recherche doctorale est le développement d’un casque de RV instrumenté par des biocapteurs, qui intègre plusieurs capteurs d’électroencéphalographie (EEG), d’électromyographie faciale (EMG), d’électrooculographie (EOG) et de photopléthysmographie (PPG) directement sur la plaque frontale et les sangles du casque monté sur la tête. Ici, nous nous concentrons uniquement sur les signaux EEG. Nous mesurons, en temps réel, les signaux EEG individuels pendant les 12 séances d’intervention et extrayons les puissances spectrales dans les cinq sous-bandes de fréquence EEG conventionnelles dans les zones frontales, centrales, pariétales et occipitales du cerveau. Ces données sont utilisées comme neuromarqueurs pour suivre les changements neuronaux au cours de l’intervention.

Nous présentons ici les résultats de l’expérience, avec un chapitre se concentrant uniquement sur les mesures qualitatives, c’est-à-dire les tests de fonctionnement cognitif, les questionnaires portant sur les symptômes psychologiques et la sévérité du SSPT, ainsi que plusieurs questionnaires auto-rapportés et les tests de VRC. Les résultats sont comparés non seulement avant et après l’intervention, mais aussi après une période de suivi de trois mois. Sur la base de ces mesures subjectives, nous montrons que l’intervention a eu des effets positifs significatifs sur les patients, beaucoup d’entre eux observant les bénéfices trois mois après l’intervention. Il a été observé que certains participants ont grandement bénéficié de l’intervention, tandis que d’autres n’ont pas constaté de changement.

Pour mieux comprendre cette variabilité dans l’amélioration des symptômes, deux chapitres sont consacrés à l’analyse des signaux EEG recueillis. Le premier chapitre traite des changements dans les neuromarqueurs chez tous les patients. Des changements significatifs dans les puissances spectrales sont observés sur plusieurs canaux et sous-bandes de fréquences. Des tracés topographiques sont utilisés pour montrer les changements spatio-spectraux observés au cours des 12 sessions. Nous analysons les modifications des schémas neuronaux pour deux groupes de patients différents : ceux qui ont bénéficié d’une amélioration des symptômes du SSPT et ceux qui n’en n’ont pas bénéficié. Les différences entre les deux groupes sont signalées et les neuromarqueurs de la relaxation, de l’éveil et des états méditatifs, se révèlent différents entre les deux groupes, ce qui suggère que le groupe dont les symptômes se sont améliorés a été capable de mieux gérer son anxiété. Enfin, nous examinons de manière longitudinale les différences de neuromarqueurs entre chaque groupe, dans le but de trouver un biomarqueur permettant de prédire l’amélioration des symptômes. Le fait de pouvoir prédire si l’intervention sera couronnée de succès pour un patient particulier, pourrait permettre aux patients et aux professionnels de la santé de gagner du temps et d’économiser des ressources. Les analyses préliminaires rapportées ici, suggèrent qu’avec certains neuromarqueurs, les indications d’amélioration des symptômes pourraient potentiellement être prédites dès la troisième séance.

Nous concluons la thèse par quelques suggestions de travaux futurs, qui pourraient inclure l’analyse des autres données de capteurs collectés par le casque instrumenté et developpé. Nous espérons que les résultats présentés ici, aideront les cliniciens à mieux comprendre les fondements neuronaux du syndrome de stress post-traumatique et à inclure dans leur boîte à outils, une intervention supplémentaire qui pourrait être effectuée dans le confort du domicile du patient. En outre, nous espérons que le casque instrumenté leur fournira non seulement un outil pour suivre les progrès de l’intervention et prédire l’amélioration des symptômes, mais aussi pour personnaliser les interventions pour chaque patient, afin de maximiser les résultats


Immersive virtual reality (VR) applications are burgeoning within numerous domains, as they promote high levels of engagement, immersion, and quality of experience (QoE). One domain of interest for this doctoral research is mental healthcare, in particular, with helping treat symptoms of post-traumatic stress disorder (PTSD) symptoms, and for anxiety management. Current VR solutions, however, only stimulate two of our five senses (i.e., audio and visual), thus are not optimal in promoting the highest level of immersion and of “being there.” To overcome this limitation, recent innovations in portable olfactory and haptic devices have emerged, making multisensory immersive experiences a reality.

In this doctoral thesis, our overarching goal is to explore the potential benefits of a multisensory nature immersion experience as a therapeutic intervention for participants diagnosed with posttraumatic stress disorder (PTSD). We first start by quantifying the impact of stimulating additional senses (from visual-only to audio-visual-olfactory-haptic) on the overall user experience, as well as on several human influential factors (HIFs), namely: the users’ sense of realism, immersion, presence, flow (losing sense of time), emotional states, engagement, and cybersickness levels. The impact is quantified both subjectively, via questionnaires, as well as objectively using wearable devices and biomarkers extracted from heart rate, breathing rate, skin temperature, blood volume pulse, and electrodermal activity signals. Experiments with sixteen participants showed that as more senses were stimulated, higher HIFs and user perceived QoE were achieved. Overall, adding the sense of smell resulted in the greatest increases across all tested HIFs, with no impact on cybersickness.

Building from the results from the first experiment, we proceed with the main experiment of this doctoral research involving the use of audio-visual-olfactory multisensory nature immersion with twenty participants diagnosed with PTSD by their medical doctors. Patients underwent an intense 12-session protocol over the duration of three weeks, followed by a follow-up session after three months. As tools to quantify the benefits of the intervention, we rely on standardized symptoms assessment tests, on a cognitive functioning assessment battery, and on heart rate variability (HRV) metrics. For objective assessment, an additional contribution of this doctoral research is the development of a biosensor-instrumented VR headset, which embeds several electroencephalography (EEG), facial electromyography (EMG), electrooculography (EOG), and photoplethysmography (PPG) sensors directly on the faceplate and straps of the head-mounted display (HMD). Here, we focus only on the EEG signals. We measure, in real-time, the individual EEG signals during the 12 intervention sessions and extract the spectral powers across the five conventional EEG frequency subbands at the frontal, central, parietal, and occipital areas of the brain. These are used as neuromarkers to track the neural changes over the course of the intervention.

Here, we present the outcomes from the experiment, with one chapter focusing only on the qualitative metrics, i.e., the cognitive functioning tests, the questionnaires addressing the psychological symptoms and severity of PTSD, as well as several self-reported questionnaires and the HRV tests. Results are compared not only between pre-and post-intervention, but also after a 3- month follow-up period. Based on these subjective measures, we show that the intervention had some significant positive effects on the patients, with many observing the benefits three months post-intervention. It was observed that some participants greatly benefited from the intervention, while others remained the same.

To better understand this variability in symptom improvement, two chapters are dedicated to the analysis of the collected EEG signals. One chapter addresses changes in neuromarkers across all patients. Significant changes in spectral powers are observed across multiple channels and frequency subbands. Topographical plots are used to show the spatio-spectral changes observed over the course of the 12 sessions. We analyze the neural pattern changes for two different patient groups: ones that had improvements in PTSD symptoms and those that did not. Differences between the two groups are reported and neuromarkers of relaxation, arousal, and meditative states are shown to differ between the two groups, suggesting the group with symptom improvements was able to better manage their anxiety. Lastly, we take a longitudinal look at the neuromarker differences between each group, with the goal of finding a biomarker for symptom improvement prediction. Being able to predict if the intervention will be successful for a given patient could save patients and medical professionals time and resources. The preliminary analyses reported herein suggest that with some neuromarkers, indications of symptom improvements could potentially be predicted as soon as the third session.

We conclude the thesis with some suggestions for future work, which could include the analysis of the other sensor data collected by the developed instrumented headset. It is hoped that the findings reported herein can help clinicians better comprehend the neural underpinnings of PTSD, as well as include in their toolbox an additional intervention that could potentially be done at the comfort of the patient’s home. Moreover, it is hoped that the instrumented headset can provide them not only with a tool to track intervention progress and predict symptom improvement, but to potentially also customize interventions for each patient, maximizing outcomes.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago H.
Co-directeurs de mémoire/thèse:	Oliveira, Alcyr
Mots-clés libres:	Syndrome/trouble de stress post-traumatique ; réalité virtuelle ; entraînement à la relaxation ; électroencéphalographie ; olfactif ; multisensoriel ; santé me ; Post-traumatic stress disorder (PTSD) ; virtual reality ; relaxation training ; electroencephalography ; olfactory ; multisensory ; mental health ; quality of experience
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	27 août 2025 13:04
Dernière modification:	27 août 2025 13:47
URI:	https://espace.inrs.ca/id/eprint/16608

Gestion Actions (Identification requise)

Modifier la notice