LNE
Recherche
Contact

OU

Je cherche dans
Obtenir un devis
  • Partager sur Twitter
  • Partager sur LinkedIn
Retour
  1. Accueil
  2. Essais
  3. Évaluation des systèmes d’intelligence artificielle

Évaluation des systèmes d’intelligence artificielle

Le LNE développe des référentiels communs et réalise des évaluations de systèmes intelligents de manière à fournir à ses clients des repères et résultats fiables pour qualifier leurs systèmes et pour rendre possible une prise de décisions pragmatique et argumentée.

Prestations proposées

Des évaluations au service des développeurs

Les tests fonctionnels et les mesures de performance des systèmes d’IA réalisés par le LNE permettent aux développeurs d’optimiser le processus de développement jusqu’à atteindre un produit viable.

Pour déterminer le niveau de performance d’une technologie, il est nécessaire de développer des métriques. A celles portant sur la performance globale du système, s’ajoutent des métriques spécifiques associées à ses différentes composantes et permettant de tracer l’origine des sous-performances. Elles permettent alors d’apprécier la pertinence des choix et orientations technologiques effectués pour faire progresser l’efficacité de la solution technologique, en particulier lorsque la progression est mise en rapport avec les investissements consentis pour juger de leur efficacité.

La qualification des systèmes intelligents est ainsi impérative à des fins de mise au point et de certification. Elle permet :

  • d’identifier l’origine des sous-performances et de guider les développements futurs,
  • d’estimer la quantité et la nature des efforts à fournir avant le lancement commercial du produit,
  • d’évaluer l’efficacité des investissements consentis pour faire progresser la technologie,
  • de caractériser le périmètre d’utilisation du système,
  • de garantir la conformité du produit à des exigences de qualité et de performance fixées,
  • de se positionner par rapport à la concurrence (en participant à des campagnes d’évaluation).

En effet, l’évaluation va permettre au développeur d’identifier les caractéristiques qui différencient sa technologie de celles de ses concurrents. Un développeur ayant réalisé de bonnes performances lors d’une campagne d’évaluation pourra d’une part garantir à ses clients la conformité de leurs systèmes à un ensemble d’exigences de qualité fixées, mais également démontrer, à des fins marketing, que son système s’est démarqué de la concurrence par son efficacité.

Des évaluations au service des intégrateurs et des utilisateurs finaux

Le LNE fournit à ses clients des repères et résultats fiables pour choisir pragmatiquement la solution d’IA à adopter par leurs entreprises parmi les technologies existantes.

La problématique d’évaluation est sensiblement nouvelle et présente une spécificité métrologique : l’aptitude des systèmes intelligents est à mesurer principalement sur le plan fonctionnel et réside surtout dans leurs facultés d’adaptation, propres à la notion d’intelligence. Il s’agit donc non seulement de quantifier des fonctions et des performances mais aussi de valider et de caractériser des environnements de fonctionnement (des périmètres d’utilisation).

Compte tenu de la grande diversité des environnements à soumettre au système, le client ne dispose pas des moyens nécessaires à tous les essais requis pour répondre à ses besoins. Et il ne peut bien sûr pas s’en remettre au seul développeur, qui sera tenté de réduire son champ d’évaluation aux cas qui lui paraîtront les plus probants pour son produit. Le client désireux de s’en remettre à un tiers arbitre, peut trouver avantageux de s’adresser au LNE, qui présente plusieurs atouts distinctifs : il s’agit d’une agence publique, indépendante de tout intérêt particulier et dont la sincérité des avis est donc assurée, de même que la protection de la propriété intellectuelle des éléments qui lui sont confiés (procédés et données à tester) ; cette neutralité est renforcée par sa stricte spécialisation dans le métier de l’évaluation.

Le LNE fournit des critères quantitatifs objectifs pour accompagner ses clients dans le choix, en connaissance de cause, d’une technologie d’intelligence artificielle à acquérir parmi les offres existantes. Il apporte ainsi son expertise pour :

  • formaliser les besoins et cas d’usage du client,
  • cartographier les potentielles solutions technologiques du marché,
  • définir un cadre expérimental (plan d'expérimentation, corpus de données de test annotés, environnement de test, etc.),
  • réaliser des campagnes d’évaluation (benchmarks) et des audits des solutions potentielles,
  • rédiger un rapport d’évaluation permettant une prise de décision pragmatique et argumentée concernant la solution d’IA à acquérir.

Après acquisition de la solution technologique, le LNE accompagne ses clients dans :

  • la réalisation de test de validation, attestant les fonctionnalités du système acheté,
  • le soutien technique après acquisition, pour identifier les briques technologiques d’une solution achetée sur étagère, qui doivent être adaptées aux besoins spécifiques de l’utilisateur final.

Exemples d'applications concernées par les évaluations du LNE
Exemples d'applications concernées par les évaluations du LNE

Des évaluations au service des agences de financement publiques

Le LNE, grâce à une mesure rigoureuse des avancées technologiques, permet aux agences de financement d’estimer l’impact des investissements consentis.

Le LNE, en tant qu’évaluateur tiers de confiance, exerce une assistance à la maitrise d’ouvrage auprès des organismes publics, en :

  • organisant des campagnes d’évaluation (ou challenge) qui permettent aux agences publiques :
    • de déterminer la maturité des technologies et valider des nouvelles voies de R&D,
    • de juger de l’efficacité des financements publics consentis,
    • d’inciter à l’innovation en créant une émulation (une « coopétition »),
  • développant des méthodes et métriques d’évaluation permettant d’assurer :
    • une mesure répétable des performances,
    • la reproductibilité des expérimentations.

Les campagnes d’évaluation organisées par le LNE sont des projets pluriannuels qui consistent à proposer un cadre commun pour la mise en compétition d’équipes développant des approches concurrentes. Ces campagnes constituent un moyen d’organisation et de motivation essentiel, à l’entretien d’échanges entre différents participants, suscitant un effet d’entrainement important et permettant de lever des verrous scientifiques ou technologiques, d’améliorer les performances et d’accompagner la montée en TRL (Technology Readiness Level) des systèmes concernés.

Découvrez notre webinar

L’évaluation de l’intelligence artificielle au bénéfice des acteurs économiques

Illustration IA
Webinar du 30 juin 2020

Principaux points abordés :

  • Quelles sont les spécificités de l’évaluation de l’IA ?
  • Qu’est-ce qu’une évaluation (méthode, tâche, protocole, métrique et corpus) ?
  • Pourquoi et comment caractériser les environnements de fonctionnement ?
  • Quels sont les points durs (représentativité des environnements de test, reproductibilité de l’évaluation, conformité des systèmes d’IA aux exigences légales émergentes, etc.) ?

Voir le webinar

Moyens

Banques de données

Les données sont la clé de l’évaluation et du développement de l'IA. Le LNE est familiarisé à la constitution de banques de données vastes, de qualité, structurées et annotées. Elles peuvent être constituées à partir des données du client ou fournies par les partenaires du LNE, des experts métiers dans les différents domaines couverts par ses évaluations. Le LNE, veille au respect de leur confidentialité et de leur propriété.

Le LNE organise des évaluations de systèmes d’IA qui utilisent des données de différentes natures :

  • Le texte : traduction automatique, classification des documents, structuration et résumé, reconnaissance d'entités nommées, réponse aux questions, etc.
  • Le log file : cybersécurité.
  • La parole : reconnaissance automatique de la parole, identification de la langue et du locuteur, détection de termes parlés, traduction, etc.
  • La vidéo et l'image : reconnaissance d'objets, détection de tête, suivi de personne, reconnaissance optique de caractères.
  • Les mesures de capteurs utilisés en robotique ou pour les véhicules autonomes.

Des environnements de test

En fonction des besoins du client, le LNE est en mesure de réaliser à la fois des essais physiques dans des environnements réels mais contrôlés, des essais virtuels dans des environnements entièrement simulés et des essais mixtes couplant des stimulations réelles et simulées.

Evaluation du robot HRP-2 du LAAS dans une enceinte climatique du LNE
Evaluation du robot HRP-2 du LAAS dans une enceinte climatique

Les essais en environnements réels sont réalisés dans des salles anéchoïques et réverbérantes, des enceintes climatiques (température, humidité, pression), de brouillard salin ou d’ensoleillement, de manière à analyser l’influence des conditions environnementales sur les performances des systèmes intelligents. Le LNE est également en mesure de réaliser des essais de vibration, de choc et d’accélération constante pour évaluer le comportement des systèmes dans des conditions extrêmes, afin de déterminer précisément les conditions limites de fonctionnement.

 

Évaluation du véhicule autonome (projet SVA à l’IRT SystemX)
Evaluation du véhicule autonome (projet SVA à l’IRT SystemX)

Pour l’évaluation de systèmes autonomes se déplaçant dans des environnements ouverts et changeants, étant donné le nombre quasi infini de configurations auxquelles pourra être confronté le système, le LNE participe au développement d’environnements de test virtuels permettant une validation du système par simulation. Cette virtualisation de la caractérisation des systèmes intelligents permet de s’affranchir des coûts prohibitifs qui seraient engendrés par une réalisation de tous les essais dans des environnements réels.

Des activités de recherche menées en amont des évaluations

De manière à réaliser ses moyens d’évaluation et à maintenir ses propres compétences, le LNE mène aussi des projets de recherche, bien contingentés et bien ciblés, seul ou dans le cadre de partenariats publics et privés, et assure le transfert de ses résultats le cas échéant. Les sujets de recherche du LNE portent généralement sur :

  • des protocoles d'évaluation,
  • des outils (logiciels d’annotation/de qualification des données, etc.) et des métriques,
  • des environnements de test réels et virtuels.

Des activités de normalisation

Le LNE participe également aux grands enjeux transverses de l’IA en développant des référentiels pour expliquer, garantir et certifier les systèmes intelligents et pour permettre l’élaboration de normes et de règlements. Le LNE participe notamment à la commission AFNOR sur l’intelligence artificielle, au Comité stratégique information et communication numérique d’AFNOR et à la section 81 de l’UNM portant sur la robotique industrielle.

Ces référentiels permettront aux industriels de connaître précisément les attendus réglementaire avant la mise sur le marché d’un système intelligent et de rassurer le consommateur vis-à-vis du produit, notamment par une approche éthique et responsable de l’intelligence artificielle.

Projets et publications

Logo de la Répblique française Logo du LNE
FILIALES
SITES SPÉCIALISÉS
NOUS REJOINDRE
RÉSEAUX SOCIAUX