Méthodologie d'évaluation des systèmes d'intelligence artificielle
Explorer les corpus, évaluer les systèmes et analyser les résultats
Objectifs
- Identifier les spécificités et points durs de l'évaluation des systèmes d'intelligence artificielle
- Définir un protocole d'évaluation : définir la tâche selon le domaine d'évaluation
- Définir un protocole d'évaluation : créer les corpus nécessaires à l'évaluation
- Définir un protocole d'évaluation : définir des métriques pertinentes
- Définir un protocole d'évaluation : analyser les résultats de l'évaluation
- Mener une évaluation en utilisant le logiciel open source Matics, de la préparation de données jusqu'à l'obtention des résultats d'évaluation
Programme
-
Jour 1 // 9:30 - 17:30Accueil et présentationsIntroduction
- Enjeux et problématiques de l'évaluation des systèmes d'intelligence artificielle
- Cas d'utilisation : l'évaluation des systèmes en traitement automatique de la langue
Evaluation d'un système d'intelligence artificielle : méthodologie- Introduction : enjeux d'une évaluation en transcription de la parole
- Définition de la tâche : comment évaluer un système de transcription de la parole ?
- Création des corpus de référence et d'hypothèse
- Quelles métriques utiliser pour l'évaluation ?
- Analyse des résultats d'une évaluation
Cas d'utilisation : comparaison avec une évaluation en robotique -
Jour 2 // 9:00 - 17:00Matics, une suite logicielle pour l'évaluation des systèmes d'intelligence artificielle
- Présentation des concepts fondamentaux
- Construction d'un corpus pour une évaluation de système de reconnaissance en entités nommées sur Datomatic
Manipulations avancées- Concepts avancés d'Evalomatic
- Evaluation de systèmes de reconnaissance d'entités nommées sur Evalomatic
Cas d'utilisation : effectuer une évaluation en traduction automatiqueÉvaluation du stage et conclusions
Public
- Organismes publics et privés travaillant dans le traitement de l’information ou souhaitant se former sur le sujet : statisticiens, évaluateurs, analystes
- Tout public intéressé
Niveau requis
- Compétences en bureautique nécessaires (accès à des fichiers sur ordinateur, manipulation d’interfaces informatiques classiques)
- Une connaissance en traitement de l’information est un plus mais n’est pas obligatoire
Moyens pédagogiques
- Exposés
- Travaux pratiques
- Manipulation des logiciels
- Évaluation du stage
- Déjeuner-rencontre pris en commun avec l’intervenant
Modalités d'évaluation
- Cette formation ne donne pas lieu à une évaluation formalisée
- Un questionnaire d’évaluation de la satisfaction du client est remis en fin de stage
Les avantages
- Support de formation détaillé présentant le fonctionnement d’une évaluation et de la suite Matics
- Plusieurs exercices et manipulation des logiciels en parallèle de l'exposé
- Intervenants spécialistes dans l'évaluation des systèmes de traitement de l'information
Responsable pédagogique
Guillaume BERNARD, Ingénieur de recherche en informatique, Direction des Essais et de la Certification (DEC), LNE
Intervenants
- Olivier GALIBERT, Ingénieur d'évaluation du traitement des contenus multimédia, Direction des Essais et de la Certification (DEC), LNE
- Agnès DELABORDE, Docteur - Ingénieur de recherche, Direction des Essais et de la Certification (DEC), LNE
