LNE-Matics : une solution unique aux besoins d’évaluation grande échelle

Exploration de données annotées et de résultats d’évaluation

Qu’est-ce que LNE-Matics ?

LNE-Matics est une suite logicielle gratuite et open-source pour l’exploration de données annotées et l’évaluation de systèmes. Les informations sont représentées selon des tableaux de données, permettant l’exploration intuitive des caractéristiques de ces données et des résultats d’évaluation. Il permet également de tracer des graphiques associés aux valeurs et d’effectuer des tests statistiques. L’outil permet déjà de réaliser l’évaluation de plusieurs tâches de Traitement Automatique de la Langue (TAL), et traite différents formats d’annotation. Le développement et l’amélioration des outils est toujours en cours.

LNE-Matics est développé en C++, avec l’API Qt. Il fonctionne actuellement sous Linux. Il nécessite l’installation de MongoDB.

Que contient la suite logicielle ?

LNE-Matics comprend deux logiciels interconnectés :

• DATOMATIC – Conçu pour l’importation et l’indexation d’une base de données de corpus et de fichiers. Les données peuvent comprendre des données de référence (par exemple annotées par un expert) et des données hypothèse (sorties d’un système, étiquetées automatiquement). Des données source (c.-à-d. non annotées et/ou non structurées) peuvent également être intégrées, telles que du texte brut ou de l’audio. Il est possible de parcourir les données via des fonctionnalités de recherche, et de les visualiser selon leur type (texte, vidéo, audio et les annotations associées). Le logiciel propose de nombreuses statistiques descriptives (durée du signal,  nombre de mots, distribution des locuteurs, des fichiers, des langues, etc.). Une sélection multicritères peut être réalisée sur les corpus. Les corpus résultants sont exportés localement afin d’être traités dans Evalomatic.
• EVALOMATIC – Evalomatic fonctionne à l’heure actuelle uniquement sur les corpus formatés par Datomatic. Evalomatic permet de réaliser des évaluations, par exemple des comparaisons entre des données référence et hypothèse pour une tâche de transcription de la parole. Les données référence et hypothèses, ainsi que les résultats de l’évaluation, sont structurés sous forme de tableaux de données, qui permettent une manipulation à différents niveaux de granularité. Le logiciel propose différentes métriques d’évaluation génériques (par exemple F-mesure, Slot Error Rate SER), dont certaines conçues exclusivement pour les tâches de TAL (par exemple Word Error Rate WER). De nombreuses fonctions statistiques sont proposées (par exemple les t-tests ou le test de Wilcoxon). Les données et les résultats peuvent être visualisés dans des graphiques, par exemple courbes DET ou histogrammes.

Les origines de LNE-Matics

Le LNE a mené de nombreuses évaluations de systèmes de traitement de l’information. Ces évaluations concernaient différents solutions technologiques et tâches de TAL (reconnaissance de la parole, diarisation du locuteur, identification du locuteur, reconnaissance d’entités nommées, reconnaissance optique de caractères, etc.), ce qui impliquait de manipuler différents formats de sortie de système, de guides d’annotation, et de métriques de comparaison. Il est apparu qu’un grand nombre de points communs entre les évaluations existaient, dans le prétraitement des données, leur exploration, le calcul et la visualisation des scores statistiques, d’où le besoin d’une solution réutilisable et d’une cadre générique pour mener les futures évaluations.

Un premier outil a été développé, dans le but de fournir une solution unique à ces besoins d’évaluation. L’outil permettait de tester la manipulation des données, et proposait un prototype d’interface dans un pré-projet nommé LNE-Visu, présenté en démonstration à la conférence national JEP-TAL-Recital en 2016 (Bernard et al., 2016).
Les résultats obtenus ont mené à la création d’un projet en interne pour concevoir la suite logicielle LNE-Matics, afin d’implémenter la vision que nous avions d’une telle interface d’exploration et d’évaluation.

Documentation

Communications scientifiques

• Galibert, O., Bernard, G., Delaborde, A., Lecadre, S., Kahn, J. (2018) Matics Software Suite: New Tools for Evaluation and Data Exploration. In proc. 11th edition of the Language Resources and Evaluation Conference, 7-12 May 2018, Miyazaki (Japan)
• Bernard, G., Galibert, O., Rémi, R., Demeyer, S., and Kahn, J. (2016). LNE-Visu : une plateforme d’exploration et de visualisation de données d’évaluation (LNE-Visu: a platform for the exploration and display of evaluation data). In proc. 2016 JEP-TALN-Recital joint conference.