Neurophysiological indicators to assess quality-of-experience based on human influential factors in virtual reality

Moinnereau, Marc-Antoine (2023). Neurophysiological indicators to assess quality-of-experience based on human influential factors in virtual reality Thèse. Québec, Université du Québec, Institut national de la recherche scientifique, Doctorat en télécommunications, 211 p.

Prévisualisation

PDF Télécharger (34MB) | Prévisualisation

Résumé

Les expériences immersives de réalité virtuelle (RV) ont gagné en importance dans divers domaines, allant du divertissement et des jeux à la formation professionnelle, aux soins de santé et à l’éducation. Ces diverses applications offrent des environnements riches et attrayants qui permettent aux utilisateurs d’interagir avec le contenu numérique de manière inédite. La qualité de l’expérience de l’utilisateur est un facteur essentiel qui détermine le succès de ces applications. Elle est déterminée par trois facteurs influents : le système, le contexte et l’utilisateur (humain). Alors que les facteurs liés au système et au contexte ont été largement étudiés, les facteurs d’influence humaine, tels que le sentiment de présence, l’immersion, l’attention, le stress, l’engagement et le cybermalaise, restent sous-explorés dans l’évaluation de la qualité de l’expérience de RV. En examinant ces facteurs, nous pouvons développer une compréhension plus complète de la manière dont les utilisateurs perçoivent les expériences de RV et y réagissent, ce qui permet de concevoir des applications plus efficaces et plus attrayantes. Les méthodes traditionnelles d’évaluation de la qualité de l’expérience, telles que les questionnaires subjectifs et les évaluations post-expérience, fournissent des informations précieuses mais peuvent ne pas saisir de manière adéquate la complexité des expériences humaines dans la RV en raison de biais, de limitations de la mémoire et d’autres facteurs qui peuvent réduire leur fiabilité et leur validité. En outre, elles ne fournissent généralement que des évaluations rétrospectives, ce qui limite leur utilité en matière de retour d’information et d’adaptation en temps réel. Les biocapteurs offrent une alternative prometteuse pour l’évaluation de la qualité de l’expérience ; cependant, leur utilisation a été principalement limitée à des environnements de laboratoire plutôt qu’à des environnements en situation réelle. Dans cette thèse de doctorat, nous présentons une approche pour évaluer la qualité de l’expérience dans les applications virtuelles immersives en nous concentrant sur les facteurs d’influence humains (FIH) et en utilisant les signaux physiologiques dans des contextes plus écologiques. Pour atteindre cet objectif, trois outils principaux ont été développés : (i) un casque de RV instrumenté pour surveiller les signaux physiologiques dans des environnements hautement écologiques avec une intervention minimale de l’expérimentateur, (ii) des classificateurs pour mettre en correspondance les informations sur les mouvements oculaires provenant du casque instrumenté avec des mesures liées à la qualité de l’expérience, et (iii) des marqueurs de l’expérience utilisateur à partir des données physiologiques enregistrées et des caractéristiques liées aux mouvements oculaires pour permettre une évaluation potentielle de la qualité de l’expérience en temps réel.
Tout d’abord, nous avons étudié la littérature afin d’examiner les méthodes et outils existants pour évaluer les FIH dans les expériences immersives, en mettant particulièrement l’accent sur les méthodes psychophysiologiques. Ensuite, nous avons conçu et construit un casque de RV instrumenté avec plusieurs biocapteurs intégrés capables de surveiller les signaux électro-physiologiques, tels que l’électroencéphalogramme (EEG), l’électrooculogramme (EOG), l’électrocardiogramme (ECG) et l’électromyogramme facial (EMG). Ces signaux sont étudiés ici en tant qu’outils de mesure objective des caractéristiques liées au FIH pour le contrôle de la qualité de l’expérience dans les environnements de RV. Ensuite, nous avons étudié l’utilisation des signaux EOG pour suivre le regard sans avoir besoin d’un eye tracker ou d’une caméra, ainsi que pour développer de nouvelles caractéristiques de mouvement oculaire pertinentes pour la surveillance de la qualité de l’expérience. Troisièmement, nous montrons une application écologique du casque pour le suivi à distance de l’expérience du joueur avec une intervention minimale de l’expérimentateur, prenant ainsi en compte les aspects cognitifs, émotionnels et perceptifs de la qualité de l’expérience. Enfin, nous montrons l’utilité des mesures extraites pour surveiller différents corrélats des FIH de l’expérience du joueur, y compris une nouvelle mesure multimodale pour suivre la perception du temps, un marqueur de la présence, de l’immersion et de l’engagement dans la RV. En fin de compte, nous espérons que les outils et les marqueurs développés permettront une évaluation plus précise et plus complète de la qualité de l’expérience dans les applications virtuelles immersives, avec le potentiel d’améliorer la conception et le développement d’expériences de RV pour les utilisateurs dans divers domaines.

Immersive virtual reality (VR) experiences have gained significant traction across various fields, ranging from entertainment and gaming to professional training, healthcare, and education. These diverse applications offer rich, engaging environments that allow users to interact with digital content in novel ways. A critical factor determining the success of these applications is the user’s Quality-of-Experience (QoE), driven by three influential factors: system, context, and the (human) user. While system and context factors have been extensively studied, human influential factors (HIFs), such as the sense of presence, immersion, attention, stress, engagement, and cybersickness, remain underexplored in VR QoE assessment. By examining these factors, we can develop a more comprehensive understanding of how users perceive and respond to VR experiences, thereby informing the design of more effective and engaging applications. Traditional methods for evaluating QoE, such as subjective questionnaires and post-experience evaluations, provide valuable insights but may not adequately capture the complexity of human experiences in VR due to biases, memory limitations, and other factors that can reduce their reliability and validity. Moreover, they typically provide only retrospective assessments, limiting their utility in providing real-time feedback and adaptation. Biosensors offer a promising alternative for QoE assessment; however, their use has primarily been limited to laboratory settings rather than highly ecological environments. In this doctoral thesis, we present an approach for assessing QoE in immersive virtual applications by focusing on human influential factors (HIFs) and utilizing physiological signals in more ecologically valid settings. To achieve this goal, three main tools were developed: (i) an instrumented VR headset to monitor physiological signals in highly-ecological settings with minimal experimenter intervention, (ii) classifiers to map eye movement information from the instrumented headset to QoE-related metrics, and (iii) user experience markers from the recorded physiological data and eye movement-related features to allow for potential real-time QoE assessment.
First, we surveyed the literature to examine existing methods and tools to assess HIFs in immersive experiences, with particular emphasis on psychophysiological methods. Next, we designed and built an instrumented VR headset with several embedded biosensors capable of monitoring electro-physiological signals, such as electroencephalogram (EEG), electrooculogram (EOG), electrocardiogram (ECG), and facial electromyogram (EMG). These signals are explored here as tools for objective measurement of HIF-related features for QoE monitoring in VR environments. Next, we investigated the use of the EOG signals to track eye gaze without the need for an eye tracker or camera, as well as to develop new eye movement features relevant to QoE monitoring. Third, we show an ecological application of the headset for remote monitoring of the gamer experience with minimal experimenter intervention, thus accounting for cognitive, emotional, and perceptual aspects of QoE. Lastly, we show the usefulness of the extracted measures to monitor different correlates of gamer experience HIFs, including a new multimodal measure to track time perception, a marker of presence, immersion, and engagement in VR. Ultimately, it is hoped that the developed tools and markers will allow for a more accurate and comprehensive assessment of QoE in immersive virtual applications, with the potential to enhance the design and development of VR experiences for users across diverse domains.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago Henrique
Co-directeurs de mémoire/thèse:	Oliveira, Alcyr Alves De
Mots-clés libres:	Réalité virtuelle ; signaux physiologiques ; qualité de l’expérience ; expérience à distance ; apprentissage automatique Virtual reality ; physiological signals ; quality of experience ; remote experience ; machine learning
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	19 déc. 2023 20:16
Dernière modification:	19 déc. 2023 21:00
URI:	https://espace.inrs.ca/id/eprint/13807

Gestion Actions (Identification requise)

Modifier la notice