Enhancing robustness and assessing ideological influence in retrieval-augmented generation systems.

Amadou, Hazem (2026). Enhancing robustness and assessing ideological influence in retrieval-augmented generation systems. Mémoire. Québec, Université du Québec, Institut national de la recherche scientifique, Maitrise en sciences des télécommunications, 77 p.

Prévisualisation

PDF - Version publiée Télécharger (2MB) | Prévisualisation

Résumé

La Génération Augmentée par Récupération (RAG) améliore les modèles de langage (LLM) en intégrant des sources de connaissances externes. Cependant, cette approche présente deux vulnérabilités critiques : un manque de robustesse face aux informations incohérentes ou bruitées, et une sensibilité aux discours idéologiques contenus dans les documents récupérés. Cette thèse aborde ces deux problématiques pour contribuer au développement de systèmes RAG plus fiables et dignes de confiance.

Dans un premier volet, nous évaluons et améliorons la robustesse des systèmes RAG face à des informations externes défaillantes. En nous appuyant sur le benchmark RGB (Retrieval-Augmented Generation Benchmark), nous démontrons qu’une structuration des connaissances sous forme de graphes de connais-sances (KG), via le framework GraphRAG, atténue significativement l’impact des documents bruités, contradictoires ou insuffisants. Nos customisations de GraphRAG, notamment l’utilisation combinée des connaissances encodées du LLM et des connaissances externes structurées (GRcomb), améliorent la détection et la correction d’erreurs, particulièrement pour les modèles moins performants comme GPT-3.5.

Dans un second volet, nous investiguons un risque négligé : l’influence idéologique. En appliquant l’Analyse Lexicale Multidimensionnelle (LMDA) à un corpus de débats présidentiels américains, nous identifions six dimensions discursives idéologiques. Nos expériences révèlent que les réponses des LLMs, lorsqu’elles sont générées via un pipeline RAG, s’alignent significativement sur les discours idéologiques présents dans le contexte externe fourni. Ce phénomène est plus marqué pour certains modèles (GPT-3.5) et dépend fortement de la configuration des connaissances (interne vs. externe) spécifiée dans l’incitation.

En synthèse, cette thèse établit que la fiabilité des systèmes RAG repose sur la résolution conjointe des défis de robustesse factuelle et d’influence discursive. Elle propose des pistes pour un cadre unifié intégrant une structuration des connaissances pour la robustesse et une conscience discursive pour l’atténuation des biais, visant des systèmes d’IA augmentée plus résilients et équitables.



Large Language Models (LLMs) are improved by Retrieval-Augmented Generation (RAG), which grounds them in outside knowledge sources. Nevertheless, this paradigm has two serious flaws : it is not robust against noisy or inconsistent data, and it is vulnerable to the ideological discourses found in retrieved documents. This thesis addresses these dual challenges to advance the development of more reliable and trustworthy RAG systems.

In its first part, the research evaluates and enhances the robustness of RAG systems when faced with flawed external information. Using the Retrieval-Augmented Generation Benchmark (RGB), we demons-trate that structuring knowledge via Knowledge Graphs (KGs) using the GraphRAG framework significantly mitigates the impact of noisy, contradictory, or insufficient documents. Our customizations of GraphRAG, particularly the combined use of the LLM’s encoded knowledge and structured external knowledge (GR-comb), improve error detection and correction, especially for less capable models like GPT-3.5.

In its second part, the thesis investigates a largely overlooked risk : ideological influence. By applying Lexical Multidimensional Analysis (LMDA) to a corpus of US presidential debates, we identify six ideolo-gical discursive dimensions. Our experiments reveal that LLM responses generated through a RAG pipeline show significant alignment with the ideological discourses present in the provided external context. This phenomenon is more pronounced for certain models (e.g., GPT-3.5) and heavily depends on the knowledge configuration (internal vs. external) specified in the prompt.

In synthesis, this work establishes that the reliability of RAG systems hinges on jointly addressing the challenges of factual robustness and discursive influence. It proposes pathways for a unified framework in-tegrating knowledge structuring for robustness and discourse-awareness for bias mitigation, aiming towards more resilient and equitable augmented AI systems.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Avila, Anderson R.
Co-directeurs de mémoire/thèse:	Davoust, Alan
Mots-clés libres:	Génération Augmentée par Récupération (RAG) ; Robustesse ; Hallucination ; Graphe de Connaissances ; Biais Idéologique ; Analyse de Discours ; Modèles de Langage ; Évaluation ; Fiabilité de l’IA ; Traitement du Langage Naturel ; Retrieval-Augmented Generation (RAG) ; Robustness ; Hallucination ; Knowledge Graph ; Ideological Bias ; Discourse Analysis ; Large Language Models ; Evaluation ; AI Reliability ; Natural Language Processing
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	03 nov. 2026 16:29
Dernière modification:	03 nov. 2026 16:29
URI:	https://espace.inrs.ca/id/eprint/17790

Gestion Actions (Identification requise)

Modifier la notice