Differential Privacy in Deep Learning Models.

Amian, Mehdi (2022). Differential Privacy in Deep Learning Models. Mémoire. Québec, Maîtrise en télécommunications, Université du Québec, Institut national de la recherche scientifique, 82 p.

Prévisualisation

PDF Télécharger (1MB) | Prévisualisation

Résumé

Dans ce memoire, le sujet de la confidentialité dans les modèles d’apprentissage profond est étudié. Dans le contexte actuel, la confidentialité désigne à la protection des modèles qui sont publiquement partagés, contre la fuite non souhaitable des informations. Il se trouve que ces modèles sont vulnerables dans le sens où la mémorisation de données d’entraînement risque la divuglation des informations confidentielles par des utilisateurs malveillants. La nécessité et l’importance de ce projet viennent du fait qu’à nos jours, il y a des modèles d’apprentissage profond qui sont entraînés sur des données personnelles et potentiellement confidentielles, qui sont susceptibles d’être partagés publiquement. Ces modèles n’incluent généralement pas de méthodes permettant de protéger la confidentialité des données. D’autres méthodes offrent la confidentialité aux modèles d’apprentissage profond mais avec une dégradation inacceptable de la performance de modèle de point de vue pratique et surtout commercial. Dans ce projet, une modification à l’algorithme de descente de gradient stochastique différentiellement confidentiel (DGSDC) est présentée afin d’apporter la confidentialité aux modèles d’apprentissage profond avec une meilleure performance des modèles en offrant un niveau acceptable de confidentialité pour des utilisations pratiques et commerciales. La méthode proposée est basée sur la filtration par la fonction tangente hyperbolique (tanh) permettant de règler le problème d’explosion de gradient au niveau des réseaux de neurones récurrents (RNR).

In this thesis, the concept of privacy in deep learning models is studied. Privacy here refers to protection of a publicly shared model against unwanted information leakage. It is found out that deep learning models are susceptible to memorizing the training data and consequently are at risk of disclosing confidential information in response of malignant inquiries. The necessity and importance of this project come from the fact that nowadays many deep learning models are trained on personal data with potentially confidential and sensitive contents and then are publicly shared. Such models naturally lack privacy protecting components. There are many examples of reversing the training path and getting access to the training data by adversaries. There are some approaches that offer the privacy in deep learning models but with an unacceptable decline in the performance of the model from a real world and particularly commercial point of view. In this study, an adjustment to the differentially private stochastic gradient descent (DPSGD) algorithm which is the state-of-theart in facilitating privacy in deep learning models is proposed. The motivation is to improve the performance of the model while offering an acceptable amount of privacy for real life and commercial applications. The proposed approach is based on tanh filtering and can also be extended to the recurrent neural network (RNN) to solve the exploding gradient problem.

Type de document:	Thèse Mémoire
Directeur de mémoire/thèse:	Mitiche, Amar
Co-directeurs de mémoire/thèse:	Benesty, Jacob
Mots-clés libres:	apprentissage profond; confidentialité des données; modèles récurrents; data; deep learning; model; privacy; utility
Centre:	Centre Énergie Matériaux Télécommunications
Date de dépôt:	13 juin 2022 18:13
Dernière modification:	24 janv. 2023 15:06
URI:	https://espace.inrs.ca/id/eprint/12585

Gestion Actions (Identification requise)

Modifier la notice