Domain-enriched knowledge distillation for robust audio edge applications.

Rodrigues Guimarães, Heitor (2026). Domain-enriched knowledge distillation for robust audio edge applications. Thèse. Québec, Université du Québec, Institut national de la recherche scientifique, Doctorat en sciences des télécommunications, 153 p.

Prévisualisation

PDF - Version publiée Télécharger (11MB) | Prévisualisation

Résumé

Les avancées récentes dans le domaine de l’apprentissage profond (Deep Learning), et plus particulièrement la transition vers l’apprentissage auto-supervisé (Self-Supervised Learning, SSL), ont révolutionné le traitement de l’audio et de la parole en permettant la création de modèles de fondation généralistes, capables d’apprendre des représentations significatives à partir de données non étiquetées. Bien que ces modèles offrent une ossature unifiée prometteuse pour diverses applications, réduisant potentiellement la redondance computationnelle et améliorant la confidentialité des données, leur taille massive et leur nombre élevé de paramètres constituent un goulot d’étranglement critique pour leur déploiement sur des dispositifs en périphérie de réseau (edge devices), limités en ressources. Ce défi de déploiement est exacerbé par un compromis majeur: les techniques nécessaires pour compresser ces modèles en vue de leur utilisation en périphérie les rendent souvent disproportionnellement vulnérables aux conditions “réelles” (in-the-wild). Par conséquent, cette thèse vise à atténuer ce compromis entre efficacité et robustesse, en s’attaquant spécifiquement à la sensibilité des encodeurs compressés face aux dérives de distribution environnementales et aux attaques adverses. À cette fin, nous proposons plusieurs innovations méthodologiques réparties dans deux domaines principaux: le traitement de la parole et la surveillance bioacoustique.

Premièrement, nous proposons un cadre de distillation de connaissances agnostique à la tâche, qui compresse conjointement les encodeurs de parole et améliore leur robustesse face aux perturbations environnementales (par ex., bruit additif et réverbération). En imposant des objectifs de débruitage de caractéristiques et de reconstruction du signal lors de la distillation, le modèle étudiant est contraint d’apprendre des représentations invariantes au bruit. Nous évaluons notre encodeur compressé sur 12 tâches en aval du banc d’essai SUPERB, démontrant que notre méthodologie engendre des gains significatifs tant dans des scénarios hors domaine que dans le domaine cible.

Deuxièmement, nous abordons les vulnérabilités de sécurité en proposant une méthode de distillation robuste conçue pour compresser les encodeurs de parole tout en les fortifiant simultanément contre les attaques adverses bornées par la norme Lp. En nous concentrant sur les systèmes de détection de mots-clés (Keyword Spotting), nous démontrons que l’imposition de priors géométriques (régularisation de variance, invariance et covariance) sur les représentations latentes du modèle étudiant produit des architectures significativement plus robustes. Les résultats empiriques sur le jeu de données Google Speech Commands indiquent que cette technique surpasse les méthodes de distillation robuste actuelles de l’état de l’art.

Enfin, en transitionnant vers le domaine bioacoustique, nous établissons d’abord un banc d’essai rigoureux pour la surveillance acoustique des ruches assistée par l’IoT. Nous évaluons une suite d’encodeurs audio généralistes et spécialisés sur quatre tâches critiques de gestion des colonies, démontrant que les modèles de fondation possèdent une forte capacité de généralisation, même avec des données étiquetées limitées. Ensuite, nous proposons une famille d’encodeurs audio économes en ressources, conçus spécifiquement pour la surveillance écologique. Notre principale contribution réside dans l’intégration d’un biais inductif novateur inspiré du traitement du signal (DSP): des caractéristiques acoustiques sensibles à la modulation via un conditionnement FiLM. Cette conception exploite deux propriétés des signaux bioacoustiques: (i) le fait que le signal et le bruit environnemental, bien que se chevauchant souvent en temps et en fréquence, sont séparables dans le domaine de la modulation ; et (ii) la nature périodique des vocalisations animales. Les résultats expérimentaux montrent que notre architecture atteint des performances de pointe sur 10 tâches bioacoustiques diverses (en plus de notre banc d’essai apicole). Notamment, nos modèles compacts égalent ou dépassent la performance de modèles de référence substantiellement plus grands, confirmant leur adéquation pour des déploiements IoT en conditions réelles.



Recent advances in the deep learning field, particularly the shift toward self-supervised learning (SSL), have revolutionized the landscape of audio and speech processing by enabling the creation of generalist foundation models capable of learning meaningful representations from unlabeled data. While these models offer a promising unified backbone for diverse applications, potentially reducing computational redundancy and enhancing data privacy, their massive scale and parameter count present a critical bottleneck for deployment on resource-constrained edge devices. This deployment challenge is compounded by a significant trade-off: techniques required to compress these models for the edge often make them disproportionately vulnerable to “in-the-wild” conditions. Therefore, we aim to mitigate the trade-off between efficiency and robustness, specifically by addressing the susceptibility of compressed encoders to environmental distribution shifts and so-called adversarial attacks. To this end, in this doctoral thesis we propose several methodological innovations divided into two primary application domains: speech and bioacoustics monitoring.

First, we propose a task-agnostic knowledge distillation framework that jointly compresses speech encoders and enhances their robustness against environmental perturbation (e.g., additive noise and reverberation). By enforcing feature denoising and signal reconstruction objectives during distillation, the student model is forced to learn noise-invariant representations. We evaluate our compressed encoder across 12 downstream from the SUPERB benchmark, demonstrating that our methodology yields significant gains in out-of-domain and in-domain scenarios.

Second, we address security vulnerabilities by proposing a robust distillation method designed to compress speech encoders while simultaneously fortifying them against Lp-norm adversarial attacks. Focusing on keyword spotting systems, we demonstrate that imposing geometric priors (variance, invariance, and covariance regularization) on the latent representations of the student model yields significantly more robust architectures. Empirical results on the Google Speech Commands dataset indicate that this technique outperforms current state-of-the-art robust distillation methods.

Finally, transitioning to the bioacoustics domain, we first establish a rigorous benchmark for IoT-enabled acoustic beehive monitoring. We evaluate a suite of general-purpose and specialized audio encoders across four critical colony management tasks, demonstrating that foundation models possess strong generalizability even with limited labeled data. Next, we propose a family of resource-efficient audio encoders designed specifically for ecological monitoring. Our main contribution in this work is the integration of a novel DSP-inspired inductive bias: modulation-aware acoustic features via the so-called FiLM conditioning. This design exploits two properties of bioacoustic signals: (i) signal and environmental noise, while often overlapping in time and frequency, are separable in the modulation domain; and (ii) the periodic nature of animal vocalizations. Experimental results show that our architecture achieves state-of-the-art performance across 10 diverse bioacoustic tasks (plus our beehive benchmark). Notably, our compact models match or exceed the performance of substantially larger baselines, confirming their suitability for real-world IoT deployments.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago Henrique
Co-directeurs de mémoire/thèse:	Avila, Anderson R.
Mots-clés libres:	Apprentissage auto-supervisé ; modèles de fondation ; distillation de connaissances ; dérives de distribution ; attaques adverses ; traitement de la parole ; applications bioacoustiques ; Internet des objets (IoT) ; .Self-Supervised Learning ; Foundation Models ; Knowledge Distillation ; Distribution Shifts ; Adversarial Attacks ; Speech Processing ; Bioacoustic Applications ; Internet-of-Things (IoT)
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	03 nov. 2026 19:14
Dernière modification:	03 nov. 2026 19:14
URI:	https://espace.inrs.ca/id/eprint/17797

Gestion Actions (Identification requise)

Modifier la notice