Region-based segmentation of arctic ice, land, slush, and water from shoreline cameras.

Kargwal, Aryan (2025). Region-based segmentation of arctic ice, land, slush, and water from shoreline cameras. Mémoire. Université du Québec, Institut national de la recherche scientifique, Maitrise en sciences des télécommunications, 55 p.

Prévisualisation

PDF - Version publiée Télécharger (3MB) | Prévisualisation

Résumé

Ce mémoire présente un pipeline de segmentation d’images modulaire développé pour classifier des images du littoral arctique en cinq types de surface : terre, ciel, glace solide, gadoue et eau libre. Ce travail s’inscrit dans le cadre du projet CAIMAN — un réseau de caméras terrestres déployées à travers le Nunavik pour surveiller les conditions côtières dynamiques. Ces images sont visuellement complexes et souvent ambiguës, avec des reflets, des régions sans texture et des surfaces de transition qui posent problème aux méthodes de segmentation conventionnelles.

Les premières expérimentations avec des modèles établis, tels que U-Net, PSPNet et DeepLabv3+, ont révélé leurs limites face aux frontières incertaines et à l’apparition rare de certaines classes. Les fines couches de gadoue, la glace masquée par les reflets et les transitions à faible contraste entre l’eau et la glace mouillée entraînaient fréquemment des prédictions erratiques ou excessivement confiantes. En réponse, ce mémoire propose un cadre de segmentation basé sur les régions et les graphes, qui s’éloigne de l’étiquetage au niveau des pixels pour adopter une approche de raisonnement structurel en contexte d’ambiguïté.

Le pipeline final intègre la génération de superpixels à l’aide de SAM-ViT ou SLIC, la construction d’un graphe d’adjacence régionale (RAG), la fusion de régions basée sur des descripteurs, et la classification régionale avec DeepLabv3+. Notamment, la capacité de sur-segmentation de SAM permet de générer des propositions régionales en zero-shot, même dans des cas extrêmes ou inconnus, sans nécessiter d’ajustement de prompt ou de supervision spécifique à une classe.

Au fil de trois itérations d’amélioration du jeu de données — passant de l’annotation manuelle à l’étiquetage assisté par FastSAM — le pipeline a évolué vers un système robuste, capable de généraliser à travers différentes conditions d’éclairage, structures de scène et incertitudes spatiales. Évalué à l’aide de métriques standards (IoU, F1, précision et rappel) et d’une analyse qualitative des échecs, le pipeline a démontré des améliorations significatives en précision par classe et en interprétabilité, en particulier dans les scènes fortement réfléchissantes ou fragmentées.

Au-delà de ses contributions techniques, ce travail propose un paradigme de conception pour la segmentation en environnements incertains : une approche qui considère l’ambiguïté comme un signal à modéliser, structurer et raisonner. Il met en avant la valeur des pipelines modulaires et explicables dans des domaines où les modèles conventionnels peinent. Il offre une base évolutive pour des travaux futurs en surveillance environnementale, vision géospatiale, capteurs autonomes et robotique.


This thesis presents a modular image segmentation pipeline developed to classify Arctic shoreline imagery into five surface types: land, sky, solid ice, slush, and open water. The work builds on the CAIMAN project — a network of land-based cameras deployed across Nunavik to monitor dynamic coastal conditions. These images are visually complex and often ambiguous, with glare, textureless regions, and transitional surfaces that challenge conventional segmentation methods.

Early experiments with established models, such as U-Net, PSPNet, and DeepLabv3+, revealed their limitations in handling uncertain boundaries and rare class appearances. Thin slush layers, glare-obscured ice, and low-contrast transitions between water and wet ice frequently led to erratic or overconfident predictions. In response, this thesis proposes a region-first, graph-based segmentation framework that shifts away from pixel-level labeling and adopts a structural reasoning approach in the face of ambiguity.

The final pipeline integrates superpixel generation using either SAM-ViT or SLIC, region adjacency graph (RAG) construction, feature-based region merging, and region-wise classification with DeepLabv3+. Notably, the use of SAM's oversegmentation capability enables zero-shot region proposal generation, even in previously unseen or edge-case scenarios, without requiring prompt tuning or class-specific supervision.

Over three iterations of dataset refinement — from manual annotation to FastSAM-assisted labeling — the pipeline matured into a robust system capable of generalizing across variable lighting conditions, scene structures, and spatial uncertainties. Evaluated through standard metrics (IoU, F1, precision, and recall) and qualitative failure analysis, the pipeline demonstrated significant improvements in class-wise accuracy and interpretability, particularly in scenes with high glare or fragmentation.

Beyond its technical contributions, this work offers a design paradigm for segmentation in uncertain environments: one that treats ambiguity as a signal to be modeled, structured, and reasoned through. It underscores the value of modular, explainable pipelines in domains where conventional models struggle. It provides a scalable foundation for further work in environmental monitoring, geospatial vision, autonomous sensors, and robotics.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Vakili, Shervin
Co-directeurs de mémoire/thèse:	Homayouni, Saeid
Mots-clés libres:	-
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	01 mai 2026 18:44
Dernière modification:	01 mai 2026 18:44
URI:	https://espace.inrs.ca/id/eprint/17139

Gestion Actions (Identification requise)

Modifier la notice