Systèmes de dialogue : de leur élaboration à leur évaluation

Les travaux ont été menés au sein de l’université Paris Saclay - CNRS - Laboratoire Interdisciplinaire des Sciences du Numérique (LISN)

Objectif de la thèse

L'objectif de cette thèse était de rendre les systèmes de dialogue orientés tâche (DOT) plus performants, flexibles et adaptables.

Résumé de la thèse

Les systèmes de dialogue orientés tâche (DOT), plus communément appelés chatbots, ont pour but de réaliser des tâches et de fournir des informations requises par un utilisateur dans le cadre d’une conversation. Ces systèmes ont été largement adoptés par de nombreuses entreprises. Cependant, ils souffrent aujourd’hui en pratique de certaines limitations :

1. ils sont dépendants des données d’entraînement nécessaires afin d’obtenir un système performant,
2. ils manquent de flexibilité et sont peu performants dès que le cas de figure rencontré en pratique s’éloigne des données vues pendant le développement, et
3. il est difficile de les adapter au cours du temps aux nouveaux éléments qui apparaissent étant donné l’évolution inévitable du monde, des exigences des concepteurs et des utilisateurs.

Ainsi nous appliquons le Lifelong Learning (LL) aux système DOT. Nous définissons le LL comme la capacité d’un système à être appliqué à et à apprendre plusieurs tâches au cours du temps, en production, en autonomie, en continu et de manière interactive. Trois étapes doivent être réalisées par le système :

1. Détecter la présence d’un nouvel élément,
2. extraire et identifier le nouvel élément et
3. adapter les composant du système associé à cet élément.

Dans un premier temps, nous proposons une première méthodologie pour l’évaluation continue et au cours du temps de l’apprentissage sur le terrain des systèmes de dialogue. Ce type d’apprentissage est proche du LL mais met de côté l’aspect multi-tâches. Nous décrivons aussi un système DOT capable d’améliorer sur le terrain sa détection des slots via l’annotation autonome de données collectées au cours de ses interactions. Nous évaluons ce système à travers deux méthodes d’adaptation grâce à notre méthodologie et montrons l’intérêt d’une évaluation continue et au cours du temps.

Dans un second temps, nous nous concentrons sur l’étude novatrice du transfert inter-langues dans le cadre de l’apprentissage continu d’une séquence de langues sur la tâche de détection des slots à l’aide de BERT multilingue, le transfert et l’apprentissage continu étant deux aspects importants du LL. Nous observons des capacités de transfert en avant substantielles malgré la présence d’oubli ainsi que les capacités du modèle continu.

Dans un troisième temps, nous nous intéressons à l’étude du transfert inter-domaines dans le cadre de l’apprentissage zero-shot de la tâche plus complexe de suivi de l’état du dialogue. Nous étudions des capacités de généralisation et de transfert d’un modèle existant sur de nouvelles valeurs de slots, puis proposons des variantes et une méthode capable d’améliorer ses performances zero-shot sur un nouveau domaine.

De manière générale ce mémoire permet de comprendre les enjeux et l’intérêt du LL appliqué au systèmes DOT et permet de mettre en avant le manque de travaux dans certaines directions de recherche.