Passer le menu
English version

|     Clients     |     Presse     |     Recrutement     |     Collaborateurs     |    Fournisseurs    |           Clubs industriels  ||  E-formation métrologie PME

Accueil > Essais > Evaluations de systèmes de traitement de l'information

Evaluations de systèmes de traitement de l’information multimédia

À une époque où tout est numérisé et où les informations sont démultipliées et transmises par différents média (sons, texte, vidéos…), il devient indispensable de se doter de référentiels communs permettant de qualifier la fiabilité de systèmes de traitement automatique de l’information. Cette démarche permet aux industriels intégrateurs et aux consommateurs de se repérer parmi les différentes propositions technologiques. Elle permet également aux développeurs et aux chercheurs de comparer leurs approches en quantifiant leur capacité à répondre à une tâche précise lors de grandes campagnes d’évaluation internationales.

Le LNE organise des évaluations de systèmes de traitement de l’information qui utilise des données de différentes natures :

  • le texte : traduction automatique, classification des documents, structuration et résumé, reconnaissance d'entités nommées, réponse aux questions...
  • la parole : reconnaissance automatique de la parole, identification de la langue et du locuteur, détection de termes parlé, traduction...
  • la vidéo et l'image : reconnaissance d'objets, détection de tête, suivi de personne, reconnaissance optique de caractères.
  • Les mesures de capteurs utilisés en robotique ou pour les véhicules autonomes

Les données d’évaluations distribuées par le LNE sont préparées en partenariat avec des associations spécialisées dans les métiers de la langue.

Des évaluations ouvertes au service des chercheurs et des organismes publics

Le LNE, en tant que tiers de confiance, réalise des évaluations ouvertes dans le cadre de projets financés par des organismes gouvernementaux. Ces évaluations consistent à évaluer sur les mêmes données et au même moment les systèmes des différents participants à la campagne. Cette méthode permet d’assurer l’équité entre les participants, de garantir la reproductibilité, la répétabilité et la justesse de la mesure. Elles ont pour objectif de:

  • Evaluer la performance de systèmes concurrents en utilisant des méthodologies d'évaluation cohérentes,
  • Estimer l'état de l’art dans différents domaines de la technologie de l'information,
  • Promouvoir la recherche et l’utilisation plus large des technologies de l'information dans la vie quotidienne.

Une analyse des erreurs au service des développeurs et des intégrateurs

Le LNE propose également aux développeurs et aux intégrateurs de technologies de réaliser les analyses permettant de mettre en évidence les points forts et les points d’amélioration possibles des systèmes. L’analyse est effectuée à partir de données proches de celles visées par l’application finale. Il s’agit de comprendre les facteurs de variation de la performance des systèmes. Cette approche a pour objectif :

  • Mettre en évidence les points forts des systèmes
  • Aider les développeurs dans l’identification des données dont le traitement peut être amélioré

Des évaluations qui s’appuient sur une recherche menée en amont

En complément des prestations d’évaluations, le LNE mène des recherches sur des protocoles d'évaluation. Pour cela il travaille au développement d’outils d'évaluation, il réalise des analyses de corpus et participe aux activités internationales de normalisation.

Un accent particulier est mis sur la réalisation d’évaluations complexes en traitement de l'information multimédias et multimodales. Pour celles-ci, le LNE met au point de nouvelles méthodes d'évaluation, métriques non-triviales et des systèmes d'annotation de données sophistiquées.

Quelques projets

Quaero (www.quaero.org)

Quaero est un programme fédérateur de recherche et d'innovation industrielle sur les technologies d'analyse automatique, de classification et d'utilisation de documents multimédias et multilingues, financé par OSEO. Il regroupe 32 partenaires qui collaborent sur des sujets de recherche et de réalisation de démonstrateurs et prototypes avancés d'applications et services innovants dans le domaine de l'accès à l'information de documents multimédia tels que le langage parlé, les images, la vidéo et la musique. Le consortium est composé d’établissements publics et privés français et allemands.

Dans ce cadre le LNE a organisé et conduit des campagnes d’évaluations pour :

  • La reconnaissance de la Parole
  • La reconnaissance et suivi du Locuteur
  • La détection d'entités nommées dans des documents écrits et oraux
  • La traduction
  • La reconnaissance optique des caractères

Celles-ci sont utilisées pour établir et ajuster les priorités de recherche et de développement du projet Quaero.

DEFI-REPERE (www.defi-repere.fr)

Le DEFI-REPERE est un projet d'évaluations dans le domaine de la reconnaissance multimédia de personnes dans des documents télévisuels, financé par la DGA. Le DEFI-REPERE est lié au projet ANR éponyme de développement des systèmes.

L’objectif du projet est de réaliser un système de reconnaissance de personnes dans des émissions audiovisuelles. Les différentes sources d'information utilisées sont :

  • • l'image dans laquelle les personnes sont visibles,
  • • les textes en incrustation dans lesquels le nom des personnes apparaît,
  • • la bande son dans laquelle la voix des locuteurs est reconnaissable,
  • • le contenu du signal de parole dans lequel le nom des personnes est prononcé.

La performance de ces systèmes est évaluée chaque année par le LNE au moyen d'une campagne d'évaluation. Cette dernière porte sur des émissions audiovisuelles, journaux, débats, divertissement, en langue française.

VERA – Advanced Error Analysis for Speech recognition

Le projet VERA, financé par l'ANR, vise à développer une méthodologie et des outils génériques pour permettre la localisation et le diagnostic des erreurs de la reconnaissance de la parole automatique (ASR). De nouvelles mesures seront développées permettant une focalisation contrastive sur les différents types d'erreurs, en fonction de l'application. L'objectif de ce projet est d'étudier ces erreurs en détail pour obtenir un diagnostic précis et améliorer les performances de l'état de l'art des systèmes ASR.

Dans le cadre de ce projet, le LNE propose notamment de nouvelles métriques qui tiennent compte de l'importance relative des erreurs de transcription selon l'application visée.

FaBiole – Fiabilité en Biométrique Vocale

Ce projet, financé par l'ANR, s'inscrit dans le domaine de la comparaison de voix. La comparaison de voix consiste à exprimer la vraisemblance que deux enregistrements vocaux aient été prononcés par la même personne. L’évaluation de cette tâche est non triviale car il est important de comprendre dans quelle circonstance un enregistrement audio contient assez d’information sur le locuteur. L’objectif de FABIOLE est d’identifier les informations caractéristiques du locuteur présentes dans chacun des deux enregistrements et de mesurer la cohérence de ces informations.

Le LNE organisera en fin de projet une campagne internationale basée sur de nouvelles métriques et une nouvelle méthode de choix des enregistrements à comparer.

IMM- Intégration Multimédia Multilingue

Ce projet est réalisé dans le cadre de l’Institut de Recherche Technologique (IRT) SystemX. Il s’inscrit dans le domaine du traitement de l’information multimédia et s’attache à développer une plateforme capable de synthétiser l’information issue de données vidéo et textuelles. Dans ce cadre, le LNE organise des évaluations selon 3 protocoles différents (évaluation sur corpus a priori, sur corpus a posteriori et sur test d’usage) qui permettent aux développeurs des 7 entreprises du projet de mettre en évidence les points forts et les points d’amélioration des systèmes de la plateforme. Ces évaluations permettent également à l’utilisateur final de mesurer les avancées du projet.

SVA- Simulation pour la sécurité du véhicule autonome

SVA, dans le cadre de la nouvelle France industrielle (secteur Mobilité écologique), intègre des dispositifs permettant d’assurer tout ou partie des tâches de conduite. Les principaux objectifs sont de caractériser, modéliser et simuler la sécurité du véhicule autonome. Pour effectuer des simulations, le LNE travaille sur les méthodes de caractérisation de capteurs embarqués. Il évalue également les algorithmes de prise de décision de conduite en fonction des informations recueillies.

Quelques publications

O. Galibert, S. Rosset, C. Grouin, P. Zweigenbaum and L. Quintard, 2011, « Structured and Extended Named Entity Evaluation in Automatic Speech Transcriptions », Proc of IJCNLP, Thailand.

G. Gravier, G. Adda, N. Paulsson, M. Carré, A. Giraudel and O. Galibert, 2012, The ETAPE corpus for the evaluation of speech-based TV content processing in the French language, Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey.

A Giraudel, M Carré, V Mapelli, J Kahn, O Galibert, L Quintard , « The REPERE Corpus: a multimodal corpus for person recognition. Proceedings of the Eight International Conference on Language Resources and Evaluation (LREC'12), Istanbul, Turkey.

S Rosset, C Grouin, K Fort, O Galibert, J Kahn, P Zweigenbaum, 2012, Structured named entities in two distinct press corpora: Contemporary broadcast news and old newspapers, Proceedings of the Sixth Linguistic Annotation Workshop (LAW), 40-48

Reconnaissance des caractères, traitement de la parole

Se doter de référentiels communs permettant de qualifier la fiabilité de systèmes de traitement automatique de l’information.

 

Nous contacter | Webmestre | Informations légales