Wearables and multisensory nature immersion for mental health management.

Soares Lopes, Marilia Karla (2026). Wearables and multisensory nature immersion for mental health management. Thèse. Québec, Université du Québec, Institut national de la recherche scientifique, Doctorat en sciences des télécommunications, 124 p.

Prévisualisation

PDF - Version publiée Télécharger (10MB) | Prévisualisation

Résumé

Les troubles liés au stress et aux traumatismes affectent de plus en plus les individus, les milieux de travail et les systèmes de santé, ce qui crée un besoin d’interventions qui soient accessibles, tolérables lors d’utilisations répétées et mesurables au-delà du simple auto-questionnaire. L’exposition à la nature constitue une approche non pharmacologique largement utilisée pour favoriser la relaxation et la régulation du stress, mais l’accès à des environnements restaurateurs est souvent limité par la géographie, le manque de temps, des contraintes de mobilité et le contexte clinique. La réalité virtuelle (RV) offre une alternative pratique en permettant de proposer des expériences de nature contrôlables et reproductibles. Toutefois, la plupart des systèmes de nature virtuelle stimulent principalement la vision et l’audition, ce qui peut réduire leur potentiel restaurateur comparativement à la nature réelle. Les avancées récentes en technologies olfactives et haptiques rendent possibles des expériences virtuelles multisensorielles, mais leurs bénéfices, leurs contraintes et les besoins de mesure dans des contextes réalistes et cliniques demeurent insuffisamment compris.

Cette thèse doctorale étudie l’immersion multisensorielle dans la nature virtuelle comme outil accessible pour favoriser la relaxation et soutenir la réduction du stress, tout en mettant l’accent sur des mesures objectives afin de quantifier les effets et d’orienter de futures personnalisations. Une revue systématique de la littérature (janvier 2016 à avril 2023) a d’abord été menée pour caractériser la manière dont les systèmes de nature virtuelle intègrent différentes modalités sensorielles et comment les résultats sont évalués. Cette revue met en évidence une base de preuves limitée et hétérogène centrée sur la nature virtuelle audio-visuelle-olfactive, une forte variabilité des modalités de présentation et des baselines expérimentales, ainsi qu’un paysage de mesures fragmenté. Au travers des études, l’olfaction apparaît comme un levier prometteur mais méthodologiquement inconstant, et le domaine montre une standardisation limitée des conditions de contrôle, de la diffusion des odeurs et de l’évaluation physiologique objective, ce qui motive des évaluations plus rigoureuses et davantage guidées par des capteurs.

À partir de ces constats, la thèse propose une évaluation progressive sur trois populations et niveaux de validité écologique. Premièrement, une étude contrôlée auprès d’étudiants universitaires a testé si l’ajout de modalités au-delà de la RV audio-visuelle standard augmente la relaxation. Nous avons proposé Nat(UR)e, une expérience de shinrin-yoku numérique synchronisant des indices olfactifs, vibroacoustiques et somatosensoriels (flux d’air et chaleur) avec une courte immersion forestière présentée dans un POD multisensoriel. Seize participants ont complété quatre conditions contrebalancées (vidéo seule, audio-visuelle, audio-visuelle-olfactive, et une condition “ultra-réalité” combinant l’ensemble des indices). Sur le plan subjectif, les conditions multisensorielles ont augmenté la relaxation et amélioré des dimensions d’expérience utilisateur telles que le réalisme, la présence, l’immersion et l’émotion, l’odeur produisant les gains les plus marqués. Sur le plan objectif, des biosignaux issus de dispositifs portables (électrocardiographie, respiration, activité électrodermale, température cutanée et pouls volumique) ont montré des tendances compatibles avec une relaxation accrue en “ultra-réalité”, et certaines caractéristiques électroder-males différaient significativement entre conditions et corrélaient avec la relaxation rapportée, ce qui soutient l’intérêt de mesures complémentaires.

Deuxièmement, l’approche a été transposée à un contexte professionnel exigeant via une étude en milieu hospitalier avec des infirmières travaillant dans une unité d’hospitalisation en santé mentale. Le protocole comparait des expositions audio-visuelles versus audio-visuelles-olfactives à des scènes de nature à 360 degrés lors de sessions courtes, contraintes en temps. Vingt-sept infirmières ont participé pendant leurs quarts de travail. Pour dépasser les seuls questionnaires, nous avons utilisé un casque instrumenté développé en interne intégrant l’électroencéphalographie et la photopléthysmographie, permettant de suivre simultanément l’activité neurale et des marqueurs de variabilité de la fréquence cardiaque, en parallèle de mesures répétées d’auto-évaluation de la relaxation et de la qualité d’expérience. Les résultats montrent une augmentation globale de la relaxation après l’exposition à la nature virtuelle, mais la valeur ajoutée de l’olfaction dépend fortement de la congruence sensorielle entre la scène et le jeu d’odeurs. Les analyses par scénario et les retours des participantes indiquent que des odeurs non congruentes peuvent réduire la relaxation et altérer l’expérience, tandis que des odeurs cohérentes peuvent renforcer le réalisme et l’engagement. Les analyses neurophysiologiques révèlent des différences nettes entre conditions dans les dynamiques des sous-bandes EEG et des indices liés à l’attention, l’engagement et l’asymétrie alpha frontale. Les analyses HRV montrent des évolutions systématiques au cours de la session compatibles avec un engagement accru et une réduction de la variabilité à court terme au fil du temps, avec des trajectoires plus marquées en condition multisensorielle, soulignant que des expositions brèves peuvent être à la fois relaxantes et cognitivement engageantes. Ensemble, ces résultats indiquent que l’ajout multisensoriel, à lui seul, n’est pas suffisant : la congruence, les attentes et le contexte façonnent les réponses subjectives et objectives.

Troisièmement, la thèse a étendu l’immersion multisensorielle dans la nature virtuelle à une population clinique via des interventions à sessions répétées chez des patients diagnostiqués avec un trouble de stress post-traumatique (TSPT). Deux formats de diffusion ont été évalués : un système PORTABLE délivrant une stimulation olfactive via un dispositif attaché au casque de RV, et un POD multisensoriel en clinique augmentant le même type de contenu nature avec des odeurs synchronisées ainsi que des indices de vent et de vibration. Les données ont été collectées dans une clinique de psychothérapie à Sept-Îles (Québec), dix participants ayant complété les deux expériences et huit étant inclus dans les analyses EEG en raison de données manquantes. Chaque intervention comprenait douze sessions sur trois semaines, avec deux pré-tests, un post-test et un suivi à trois mois, complétés par des questionnaires cliniques standardisés, des tests cognitifs et des évaluations d’expérience au niveau des sessions. L’exposition répétée a été bien tolérée, avec une présence stable et une cybersickness faible au fil des sessions. Les résultats cliniques et cognitifs montrent des tendances encourageantes dépendantes du dispositif, incluant des réductions de symptômes dissociatifs et une amélioration de la vitesse de traitement en condition portable, ainsi que des tendances d’amélioration moyennes à fortes des symptômes dépressifs et de certains domaines cognitifs en condition pod. Malgré une puissance statistique limitée, les résultats neurophysiologiques montrent de façon cohérente une adaptation longitudinale au fil des sessions, avec des diminutions d’activité en basses fréquences et des augmentations en hautes fréquences, incluant une augmentation gamma robuste en condition pod. Les analyses intra-sujets relient les fluctuations de caractéristiques EEG à la présence perçue, la relaxation, l’immersion et les variations de stress, soutenant l’idée que les mesures objectives peuvent révéler des dynamiques mécanistiques et individuelles non captées par les questionnaires seuls.

Globalement, cette thèse soutient trois conclusions principales. Premièrement, l’immersion multisensorielle dans la nature virtuelle est faisable dans des environnements contrôlés, professionnels et cliniques, mais son efficacité dépend de la qualité et de la cohérence du design multisensoriel plutôt que de l’ajout de sensations en soi. Deuxièmement, l’ajout synchronisé d’indices olfactifs et somatosensoriels à une immersion nature audiovisuelle peut accroître la relaxation perçue et moduler de manière significative des marqueurs physiologiques et neuraux liés à l’activation, l’engagement et l’affect, même si les effets peuvent s’inverser en cas d’incongruence sensorielle. Troisièmement, l’intégration de mesures objectives dans les systèmes immersifs est non seulement possible, mais nécessaire pour renforcer l’évaluation, capturer les différences interindividuelles et permettre de futures interventions adaptatives. La thèse se conclut en identifiant des limites (tailles d’échantillons, fenêtres d’exposition courtes en contextes réalistes, personnalisation incomplète des odeurs) et en proposant des pistes futures, notamment une meilleure personnalisation des odeurs et du contenu, des protocoles plus longs et davantage standardisés lorsque possible, ainsi que des stratégies de biofeedback adaptatif et de génération de contenu pour maintenir la congruence et optimiser les résultats en déploiement réel.



Stress- and trauma-related conditions increasingly affect individuals, workplaces, and health-care systems, creating a demand for interventions that are accessible, tolerable under repeated use, and measurable beyond self-report. Nature exposure is a widely used non-pharmacological approach for relaxation and stress regulation, yet access to restorative environments is often limited by geography, time, mobility constraints, and clinical context. Virtual reality (VR) offers a practical alternative by delivering controllable and repeatable nature experiences. However, most virtual nature systems primarily stimulate vision and audition, which may limit their restorative potential compared to real-world nature. Recent advances in olfactory and haptic technologies make multisensory virtual experiences feasible, but their benefits, constraints, and measurement needs in realistic and clinical settings remain insufficiently understood.

This doctoral thesis investigates multisensory virtual nature immersion as an accessible tool to promote relaxation and support stress reduction, while emphasizing objective sensing to quantify outcomes and guide future personalization. A systematic review of the literature (January 2016 to April 2023) was first conducted to characterize how virtual nature systems integrate sensory modalities and how outcomes are assessed. The review highlighted (i) a small and heterogeneous evidence base focused on audiovisual olfactory virtual nature immersion tools, (ii) large variability in presentation modalities and experimental baselines, and (iii) a fragmented outcomes measurement landscape. Across studies, olfaction emerged as a promising but methodologically inconsistent lever, and the field showed limited standardization in control conditions, scent delivery, and objective physiological assessment, motivating more rigorous, sensor-informed evaluations.

Building on these observations, this thesis provides a step-by-step evaluation across three populations and levels of ecological validity. First, a controlled university-student study tested whether adding modalities beyond standard audiovisual virtual reality increases relaxation. We pro-posed Nat(UR)e, a digital shinrin-yoku experience that synchronizes olfactory, vibroacoustic, and somatosensory cues (airflow and heat) with a short forest immersion presented in a multisensory pod. Sixteen participants completed four counterbalanced conditions (video-only, audiovisual, audiovisual-olfactory, and audiovisual-olfactory-haptic, which we call “ultra reality”). Subjectively, multisensory conditions increased relaxation and improved user-experience dimensions such as realism, presence, immersion, and emotion, with smell producing the largest gains. Objectively, wearable biosignals (electrocardiography, respiration, electrodermal activity, skin temperature, and blood volume pulse) exhibited trends consistent with relaxation in the full multisensory condition, and select electrodermal features differed significantly between conditions and were shown to be correlated with reported relaxation levels. These findings help support the added value of physio-logical sensing during virtual nature immersion.

Second, the approach was translated to a demanding occupational context through an in-hospital study with nurses working in a mental health inpatient ward. The protocol compared audiovisual versus audio-visual-olfactory exposures to 360-degree nature scenes during short, time-constrained sessions. Twenty-seven nurses participated during work shifts. To move beyond questionnaires, we used an in-house instrumented head-mounted display integrating electroen-cephalography and photoplethysmography, enabling simultaneous tracking of neural activity and heart-rate-variability markers alongside repeated self-reports of relaxation and quality of experience. Results showed that relaxation increased after virtual nature exposure overall, but the added value of olfaction depended strongly on sensory congruence between the scene and the selected odor. Scenario-level analyses and participant feedback indicated that mismatched odors can reduce relaxation and alter experience, whereas coherent odors can enhance realism and engagement. Neurophysiological analyses revealed clear differences between conditions in electroencephalography subband dynamics and indices related to attention, engagement, and frontal alpha asymmetry. Heart-rate-variability analyses showed systematic within-session shifts consistent with increased engagement and reduced short-term variability over time, with stronger trajectories in the multisensory condition, highlighting that brief exposures can be simultaneously relaxing and cognitively engaging. Together, these findings emphasize that multisensory addition alone is not sufficient; congruence, expectations, and context shape both subjective and objective responses.

Lastly, the thesis extended multisensory virtual nature immersion to a clinical population through repeated-session interventions with patients diagnosed with post-traumatic stress disorder. Two delivery formats were evaluated : a portable system delivering olfactory stimulation via a device attached to the head-mounted display, and an in-clinic multisensory pod, augmenting the same type of nature content with synchronized odors plus wind and vibration stimuli. Data were collected in a psychotherapy clinic in Sept-Îles, Quebec, with ten participants completing both experiments and eight included in the electroencephalography analyses due to missing data. Each intervention comprised twelve sessions over three weeks, with two pre-tests, a post-test, and a three-month follow-up, complemented by standardized clinical questionnaires, cognitive testing, and session-level experience ratings. Repeated exposure was well tolerated, with stable presence and low cybersickness over sessions. Clinical and cognitive results showed encouraging, setup-dependent patterns, including reductions in dissociative symptoms and improvements in processing speed in the portable condition, and medium-to-large improvement trends in depressive symptoms and selected cognitive domains in the pod condition. While statistical power was limited, the neuro-physiological results consistently showed longitudinal adaptation across sessions, with decreases in low-frequency activity and increases in higher-frequency activity, including a robust gamma in-crease in the pod condition. Within-subject analyses linked fluctuations in electroencephalography features to perceived presence, relaxation, immersion, and stress changes, supporting the pre-mise that objective sensing can reveal mechanistic and individual-level dynamics not captured by questionnaires alone.

Overall, this thesis supports three central conclusions. First, multisensory virtual nature immersion is feasible across controlled, occupational, and clinical environments, but effectiveness depends on the quality and coherence of multisensory design rather than on sensory addition alone. Second, adding synchronized olfactory and somatosensory cues to audiovisual nature immersion can increase perceived relaxation and meaningfully modulate physiological and neural markers related to arousal, engagement, and affect, although effects can reverse under sensory incongruence. Third, integrating objective sensing into immersive systems is not only feasible but necessary to strengthen evaluation, capture individual differences, and enable future adaptive interventions. The thesis concludes by identifying limitations (sample sizes, short exposure windows in realistic settings, incomplete scent personalization) and by outlining future directions, including improved personalization of scent and content, longer and more standardized protocols when possible, and the use of adaptive biofeedback and content generation strategies to maintain congruence and optimize outcomes in real-world deployment.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago Henrique
Mots-clés libres:	réalité virtuelle ; multisensoriel ; nature virtuelle ; shinrin-yoku ; olfaction ; haptique ; relaxation ; réduction du stress ; trouble de stress post-traumatique ; infirmières ; électroencéphalographie ; variabilité de la fréquence cardiaque ; dispositifs portables ; qualité d’expérience ; virtual reality ; multisensory ; virtual nature ; shinrin-yoku ; olfactory ; haptics ; relaxa-tion ; stress reduction ; post-traumatic stress disorder ; nurses ; electroencephalography ; heart rate variability ; wearable devices ; quality of experience.
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	03 nov. 2026 19:37
Dernière modification:	03 nov. 2026 19:37
URI:	https://espace.inrs.ca/id/eprint/17799

Gestion Actions (Identification requise)

Modifier la notice