Méthodologie d'évaluation des systèmes d'intelligence artificielle - Ref. AQ64

Explorer les corpus, évaluer les systèmes et analyser les résultats

Inter entreprise
Intra entreprise
Nouveau

Objectifs

Identifier les spécificités et points durs de l'évaluation des systèmes d'intelligence artificielle
Définir un protocole d'évaluation : définir la tâche selon le domaine d'évaluation
Définir un protocole d'évaluation : créer les corpus nécessaires à l'évaluation
Définir un protocole d'évaluation : définir des métriques pertinentes
Définir un protocole d'évaluation : analyser les résultats de l'évaluation
Mener une évaluation en utilisant le logiciel open source Matics, de la préparation de données jusqu'à l'obtention des résultats d'évaluation

Programme

9:30 - 17:30
  • Enjeux et problématiques de l'évaluation des systèmes d'intelligence artificielle
  • Cas d'utilisation : l'évaluation des systèmes en traitement automatique de la langue
  • Introduction : enjeux d'une évaluation en transcription de la parole
  • Définition de la tâche : comment évaluer un système de transcription de la parole ?
  • Création des corpus de référence et d'hypothèse
  • Quelles métriques utiliser pour l'évaluation ?
  • Analyse des résultats d'une évaluation
9:00 - 17:00
  • Présentation des concepts fondamentaux
  • Construction d'un corpus pour une évaluation de système de reconnaissance en entités nommées sur Datomatic
  • Concepts avancés d'Evalomatic
  • Evaluation de systèmes de reconnaissance d'entités nommées sur Evalomatic

Public et niveau requis

Public

  • Organismes publics et privés travaillant dans le traitement de l’information ou souhaitant se former sur le sujet : statisticiens, évaluateurs, analystes
  • Tout public intéressé

Niveau requis

  • Compétences en bureautique nécessaires (accès à des fichiers sur ordinateur, manipulation d’interfaces informatiques classiques)
  • Une connaissance en traitement de l’information est un plus mais n’est pas obligatoire

Les plus de la formation

Support de formation détaillé présentant le fonctionnement d’une évaluation et de la suite Matics

Plusieurs exercices et manipulation des logiciels en parallèle de l'exposé

Intervenants spécialistes dans l'évaluation des systèmes de traitement de l'information

Moyens pédagogiques et modalités d'évaluation

Moyens pédagogiques

  • Exposés
  • Travaux pratiques
  • Manipulation des logiciels
  • Évaluation du stage
  • Déjeuner-rencontre pris en commun avec l’intervenant

Modalités d'évaluation

  • Cette formation ne donne pas lieu à une évaluation formalisée
  • Un questionnaire d’évaluation de la satisfaction du client est remis en fin de stage
×
En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies conformément à notre politique de données personnelles. En savoir plus.