Stage Optimisation de l’exploration du paysage des poids dans les réseaux de neurones H/F

Missions

Dans le cadre de la quantification de l’incertitude associée aux prédictions des réseaux de neurones, il est primordial de prendre en compte l’incertitude associée à de multiple réentraînements. La méthode privilégiée à l’heure actuelle est la méthode « Deep Ensemble » qui consiste simplement à lancer N entraînements et à calculer la variance à partir des prédictions du réseau de neurones. Cette approche s’apparente aux simulations de Monte Carlo et est par construction très coûteuse, un entraînement pouvant durer plusieurs jours dans certains cas.

Au cours de ce stage, il s’agit de développer une approche permettant de réduire drastiquement le nombre de réentraînements du réseau de neurones en se basant notamment sur les travaux de Benton et al. [1] ou de Worstman et al. [2] afin de caractériser localement le paysage des paramètres en empruntant des chemins non linéaires de faible coût.

Intégré(e) au sein du département Science des Données et Incertitudes, vos missions au cours de ce stage seront les suivantes :

• Vous familiariser avec les méthodes à l’état de l’art pour quantifier l’incertitude dans le cadre de l’utilisation de réseau de neurones ;
• Mettre en oeuvre une méthode permettant une exploration à bas coût computationnel pour l’exploration du paysage des paramètres des réseaux de neurones ;
• Tester la méthode sur un jeu de données type MNIST, CIFAR-10 ou CIFAR-100 avec différents réseaux de neurones (MLP, CNN, ResNet) ;
• Rédiger un rapport scientifique synthétisant vos résultats.

Profil 

Étudiant(e) en M2 ou en dernière année d'école d'ingénieur, spécialisé(e) en mathématiques appliquées (modélisation statistique et machine learning).

Doté(e) d'une forte curiosité scientifique et d'un intérêt pour l’apprentissage statistique et la quantification de l’incertitude, vous avez déjà acquis des compétences en modélisation ou apprentissage automatique.

La maîtrise d’un langage de programmation, tel que Python, est essentielle.

La connaissance des méthodes pour la quantification de l’incertitude serait appréciée.

Ce stage pourra donner lieu à une thèse.

Gratification

1255 € brut/mois pour une formation Bac +5.