Acoustic signal processing and machine learning for remote automated beehive monitoring.

Abdollahi, Mahsa (2026). Acoustic signal processing and machine learning for remote automated beehive monitoring. Thèse. Québec, Université du Québec, Institut national de la recherche scientifique, Doctorat en sciences des télécommunications, 168 p.

Prévisualisation

PDF - Version acceptée Télécharger (90MB) | Prévisualisation

Résumé

La surveillance acoustique est apparue comme une approche non invasive prometteuse pour évaluer la santé des colonies d’abeilles mellifères et la dynamique de leurs populations. Cependant, le développement de systèmes fiables et généralisables demeure limité par le manque de jeux de données publics, le bruit environnemental et la sensibilité des caractéristiques acoustiques conventionnelles aux conditions réelles. Cette thèse aborde ces défis par l’introduction d’un jeu de données à grande échelle, une analyse systématique du bruit environnemental, la conception de caractéristiques acoustiques robustes et l’évaluation de modèles d’apprentissage classique et profond.

Premièrement, nous introduisons UrBAN (Urban Beehive Acoustics and PheNotyping), un jeu de données ouvert à grande échelle comprenant plus de 3 000 heures d’enregistrements audio bruts collectés à partir de dix ruches urbaines sur deux années consécutives. Le jeu de données est enrichi par des mesures multimodales issues de capteurs, incluant la température et l’humidité internes de la ruche, les conditions météorologiques externes, ainsi que des annotations phénotypiques collectées manuellement, telles que la taille de la population de la colonie, les niveaux d’infestation par l’acarien Varroa, le statut de la reine et la mortalité hivernale. UrBAN constitue une référence réaliste pour l’évaluation longitudinale et indépendante des ruches des méthodes de surveillance acoustique.

Deuxièmement, nous étudions de manière systématique l’impact de sources importantes de bruit environnemental, incluant le bruit de fond urbain, la parole humaine et les fortes pluies, sur les représentations acoustiques couramment utilisées. Notre analyse révèle que les caractéristiques conventionnelles telles que les spectrogrammes et les Coefficients Cepstraux en Fréquences Mel (CCFM) sont très sensibles au bruit, entraînant une dégradation significative des performances dans des conditions de déploiement réalistes. Ces résultats soulignent la nécessité de représentations robustes au bruit pour la surveillance des ruches en conditions réelles.

Troisièmement, nous proposons et analysons des caractéristiques acoustiques basées sur la modulation, incluant les spectrogrammes de modulation et les tensorgrammes de modulation, qui capturent explicitement les fluctuations temporelles d’énergie associées à l’activité collective des abeilles. Nous montrons que l’utilisation de spectrogrammes de modulation pour améliorer la prédiction de la force des colonies dans des conditions inédites conduit à des taux d’erreur plus faibles et à des corrélations plus élevées, démontrant ainsi leur robustesse accrue pour la surveillance des ruches en conditions naturelles. Ensuite, nous abordons le défi de la détection de l’infestation par l’acarien Varroa dans les colonies d’abeilles. Nous proposons l’utilisation de descripteurs de forme spectrale, extraits à la fois des spectrogrammes conventionnels et des spectrogrammes de modulation, comme caractéristiques informatives et complémentaires pour distinguer les états de ruches saines et infestées. Les résultats démontrent que nos caractéristiques proposées surpassent systématiquement les caractéristiques traditionnelles, telles que les CCFM et les Coefficients Cepstraux en Fréquences Linéaires (CCFL) pour toutes les métriques et tous les classificateurs. Nous réalisons également une analyse comparative avec un modèle CNN, qui montre que les approches d’apprentissage automatique classiques entraînées sur les caractéristiques proposées atteignent non seulement une précision plus élevée, mais nécessitent aussi une complexité computationnelle significativement plus faible.

Enfin, nous évaluons plusieurs architectures d’apprentissage profond, incluant des réseaux neuronaux convolutionnels 2D et 3D ainsi que des modèles convolutionnels-récurrents. Les modèles profonds opérant sur les spectrogrammes de modulation et les tensorgrammes surpassent systématiquement les approches de référence, particulièrement dans les scénarios d’évaluation indépendants des ruches. Les résultats montrent que la modélisation explicite des motifs de modulation spectro-temporels améliore la généralisation entre les ruches et les conditions d’enregistrement.

Dans l’ensemble, ce travail démontre que la combinaison de données réelles à grande échelle, d’analyses tenant compte du bruit, de représentations acoustiques basées sur la modulation et de modèles d’apprentissage profond spatio-temporels permet une surveillance acoustique robuste et généralisable des colonies d’abeilles. Le cadre proposé fait progresser l’état de l’art en apiculture de précision et fournit une base pour l’évaluation évolutive et non invasive de la santé des colonies dans des environnements réels.


Acoustic monitoring has emerged as a promising non-invasive approach for assessing honey bee colony health and population dynamics. However, the development of reliable and generalizable systems remains challenged by limited public datasets, environmental noise, and the sensitivity of conventional acoustic features to real-world conditions. This dissertation addresses these challenges through the introduction of a large-scale dataset, a systematic analysis of the impacts of environmental noise, the design of robust acoustic features, and the evaluation of both classical and deep learning models for remote beehive monitoring.

First, we introduce UrBAN (Urban Beehive Acoustics and PheNotyping), a large-scale, openaccess dataset comprising over 3,000 hours of raw audio recordings collected from ten urban beehives over a period of two consecutive years. The dataset is enriched with multimodal sensor measurements, including internal hive temperature and humidity, external weather conditions, and manually collected phenotypic annotations, such as colony population size, Varroa mite infestation levels, queen bee status, and winter mortality. UrBAN provides a realistic benchmark for longitudinal and hive-independent evaluation of acoustic monitoring methods.

Second, we systematically investigate the impact of prominent environmental noise sources including urban background noise, speech, and heavy rainfall on commonly used acoustic representations. Our analysis reveals that conventional features such as spectrograms and mel-frequency cepstral coefficients (MFCCs) are highly sensitive to noise, leading to significant performance degradation under realistic deployment conditions. These findings highlight the necessity of noiserobust representations for real-world beehive monitoring.

Third, we propose and analyze modulation spectrum based acoustic features, including modulation spectrograms and tensorgrams, which explicitly capture spectral-temporal energy fluctuations associated with collective bee activity. We show that by using modulation spectrogram features, improved beehive strength prediction is obtained across unseen conditions (i.e., lower prediction error rates and higher correlations with beekeeper ratings), highlighting their robustness for “in the wild” beehive monitoring.

Next, we address the challenge of detecting Varroa mite infestations in honey bee colonies. We propose the use of spectral shape descriptors, extracted from both the conventional and modulation spectrograms, as informative and complementary features for distinguishing between healthy and infested hives. The results demonstrate that our proposed features consistently outperform traditional features, such as MFCCs and linear frequency cepstral coefficients (LFCCs), across several tested figures-of-merit and classifiers. We compare the accuracy of handcrafted features with that of deep neural network feature representations and show that classical machine-learning approaches trained on the proposed handcrafted features not only achieve higher accuracy, but also require significantly lower computational complexity.

Finally, we evaluate a wide range of deep learning neural network architectures, including 2D and 3D convolutional neural networks and convolutional-recurrent models. Deep models operating on modulation spectrograms and tensorgrams consistently outperform benchmark approaches, particularly in hive-independent evaluation settings. The results show that explicitly modeling spectrotemporal modulation patterns improves generalization across hives and recording conditions.

Overall, this work demonstrates that combining large-scale real-world data, noise-aware analysis, modulation-based feature representations, and spatio-temporal deep learning models enables robust and generalizable acoustic monitoring of honey bee colonies. The proposed framework advances the state-of-the-art in precision apiculture and provides a foundation for scalable, noninvasive colony health assessment in real-world environments.

Type de document:	Thèse Thèse
Directeur de mémoire/thèse:	Falk, Tiago Henrique
Co-directeurs de mémoire/thèse:	Giovenazzo, Pierre
Mots-clés libres:	Acoustique des ruches ; Abeilles domestiques ; Spectrogramme de modulation ; Infestation par le varroa ; Beehive acoustics ; Honey bees ; Modulation spectrogram ; Varroa mite infestation
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	02 nov. 2026 16:11
Dernière modification:	02 nov. 2026 16:11
URI:	https://espace.inrs.ca/id/eprint/17787

Gestion Actions (Identification requise)

Modifier la notice