Interprétation des réseaux de neurones et analyse des opérations en utilisant les formes multilinéaires.

Doghri, Tayssir (2020). Interprétation des réseaux de neurones et analyse des opérations en utilisant les formes multilinéaires. Mémoire. Québec, Maîtrise en sciences des télécommunications, Université du Québec, Institut national de la recherche scientifique, 69 p.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

Ce mémoire aborde deux problèmes fondamentaux en apprentissage automatique: la perte des relations qui peuvent exister entre les données, par exemple celles qui décrivent la structure spatiale d’une image, et le flot d’opérations qui ne sont généralement pas interprétables dans les réseaux de neurones artificiels. Ce qui, par conséquent, peut compliquer et rendre difficile leur développement. Nous allons aborder le premier problème dans le cadre du traitement d’images monochromatiques. Dans ce cas, l’approche la plus courante consiste à utiliser une représentation vectorielle de l’image ce qui ignore la relation spatiale entre les pixels. Pour y pallier, nous allons remplacer l’opérateur linéaire conventionnellement utilisé par un opérateur bilinéaire qui agit directement sur l’image en préservant sa nature bi-dimensionnelle. En effet, nous montrons qu’ainsi nous pouvons exploiter plus efficacement les relations spatiales ce qui se traduit par un nombre sensiblement plus faible de paramètres nécessaires pour obtenir les mêmes performances que celles obtenues en utilisant les modèles linéaires courants. Nous abordons le second problème, celui causé par un flot d’opérations sans interprétation explicite, en explorant l’idée d’expansion de bases par un produit tensoriel. Nous proposons deux approches. La première, inspirée par notre travail sur les opérateurs bilinéaires, repose sur les formes multilinéaires qui nous permettent de manipuler un espace multi-dimensionnel engendré par le produit de fonctions de bases. La deuxième approche suit la même piste tout en résolvant les difficultés d’optimisation que nous pouvons rencontrer avec la première. Nous pouvons interpréter les opérations définissant les couches d’un réseau de neurones en termes de produits de fonctions de bases et de la somme de ces produits, où l’opération dans une couche dépend du type de fonctions d’activations utilisées. Cette interprétation est possible si on considère que le produit est réalisé par une somme dans le domaine logarithmique. Ainsi, elle nous permet de mieux cerner le rôle des paramètres dans les structures des réseaux utilisés actuellement. Plus particulièrement, nous pouvons justifier l’utilisation des contraintes de positivité sur certains paramètres du réseau. Les exemples expérimentaux indiquent que l’approche proposée d’entraînement des réseaux offre une possibilité d’améliorer les résultats de reconnaissance. Nous évaluons nos modèles sur des données synthétiques et/ou réelles pour résoudre des problèmes de classification.

In this work, we tackle two problems often encountered in machine learning: the loss of structure of the input data which is generally transformed to a vector and the lack of interpretability of the operations especially in artificial neural networks. To address the first problem, we focus on the case of monochromatic image pattern recognition. In general, the image is vectorized which leads to the loss of spatial relationship between the pixels. Hence, we propose to replace the conventional linear operation by its bilinear counterpart which takes the image bi-dimensional structure into account. In fact, we show that we can exploit better the spatial relationship which translates into significantly smaller number of parameters required to yield the same performance as linear models. Then, to tackle the problem related to the interpretability of neural networks, we exploit the idea of tensor product basis expansion. We propose two approaches. In the first one, inspired by our work using bilinear operations, we explore tensor product basis expansion in a multilinear setting. This allows us to work in a high dimensional space created by the product of different basis functions. However, due to a possibility of encountering a vanishing gradient problem, we define a second approach by following the same lead of tensor product basis expansion. We can interpret the operations defining the layers of the neural network as products of basis functions and the sum of those products. The operations of each layer depend on the chosen activation function. This interpretation is possible if we consider that the product is done using a sum in the logarithmic domain which allows us to pin down the role of the parameters in the currently used neural networks. Namely, we can justify the positivity constraints imposed to certain parameters of the network. The numerical results show that the proposed approach can increase the performance of the neural network in term of accuracy. To test our proposed models, we use synthetic and/or real data and we show the numerical results obtained to solve a classification task.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Szczecinski, Leszek
Co-directeurs de mémoire/thèse:	Benesty, Jacobet Mitiche, Amar
Mots-clés libres:	classification; formes bilinéaires; formes multilinéaires; tensor product basis expansion; bilinear forms; multilinear forms
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	05 oct. 2023 13:31
Dernière modification:	05 oct. 2023 13:31
URI:	https://espace.inrs.ca/id/eprint/13593

Gestion Actions (Identification requise)

Modifier la notice