Évaluation des systèmes d’intelligence artificielle

Prestations proposées

Des évaluations au service des développeurs

Pour déterminer le niveau de performance d’une technologie, il est nécessaire de développer des métriques. A celles portant sur la performance globale du système, s’ajoutent des métriques spécifiques associées à ses différentes composantes et permettant de tracer l’origine des sous-performances. Elles permettent alors d’apprécier la pertinence des choix et orientations technologiques effectués pour faire progresser l’efficacité de la solution technologique, en particulier lorsque la progression est mise en rapport avec les investissements consentis pour juger de leur efficacité.

La qualification des systèmes intelligents est ainsi impérative à des fins de mise au point et de certification. Elle permet :

• d’identifier l’origine des sous-performances et de guider les développements futurs,
• d’estimer la quantité et la nature des efforts à fournir avant le lancement commercial du produit,
• d’évaluer l’efficacité des investissements consentis pour faire progresser la technologie,
• de caractériser le périmètre d’utilisation du système,
• de garantir la conformité du produit à des exigences de qualité et de performance fixées,
• de se positionner par rapport à la concurrence (en participant à des campagnes d’évaluation).

En effet, l’évaluation va permettre au développeur d’identifier les caractéristiques qui différencient sa technologie de celles de ses concurrents. Un développeur ayant réalisé de bonnes performances lors d’une campagne d’évaluation pourra d’une part garantir à ses clients la conformité de leurs systèmes à un ensemble d’exigences de qualité fixées, mais également démontrer, à des fins marketing, que son système s’est démarqué de la concurrence par son efficacité.

Des évaluations au service des intégrateurs et des utilisateurs finaux

La problématique d’évaluation est sensiblement nouvelle et présente une spécificité métrologique : l’aptitude des systèmes intelligents est à mesurer principalement sur le plan fonctionnel et réside surtout dans leurs facultés d’adaptation, propres à la notion d’intelligence. Il s’agit donc non seulement de quantifier des fonctions et des performances mais aussi de valider et de caractériser des environnements de fonctionnement (des périmètres d’utilisation).

Compte tenu de la grande diversité des environnements à soumettre au système, le client ne dispose pas des moyens nécessaires à tous les essais requis pour répondre à ses besoins. Et il ne peut bien sûr pas s’en remettre au seul développeur, qui sera tenté de réduire son champ d’évaluation aux cas qui lui paraîtront les plus probants pour son produit. Le client désireux de s’en remettre à un tiers arbitre, peut trouver avantageux de s’adresser au LNE, qui présente plusieurs atouts distinctifs : il s’agit d’une agence publique, indépendante de tout intérêt particulier et dont la sincérité des avis est donc assurée, de même que la protection de la propriété intellectuelle des éléments qui lui sont confiés (procédés et données à tester) ; cette neutralité est renforcée par sa stricte spécialisation dans le métier de l’évaluation.

Le LNE fournit des critères quantitatifs objectifs pour accompagner ses clients dans le choix, en connaissance de cause, d’une technologie d’intelligence artificielle à acquérir parmi les offres existantes. Il apporte ainsi son expertise pour :

• formaliser les besoins et cas d’usage du client,
• cartographier les potentielles solutions technologiques du marché,
• définir un cadre expérimental (plan d'expérimentation, corpus de données de test annotés, environnement de test, etc.),
• réaliser des campagnes d’évaluation (benchmarks) et des audits des solutions potentielles,
• rédiger un rapport d’évaluation permettant une prise de décision pragmatique et argumentée concernant la solution d’IA à acquérir.

Après acquisition de la solution technologique, le LNE accompagne ses clients dans :

• la réalisation de test de validation, attestant les fonctionnalités du système acheté,
• le soutien technique après acquisition, pour identifier les briques technologiques d’une solution achetée sur étagère, qui doivent être adaptées aux besoins spécifiques de l’utilisateur final.

Des évaluations au service des agences de financement publiques

Le LNE, en tant qu’évaluateur tiers de confiance, exerce une assistance à la maitrise d’ouvrage auprès des organismes publics, en :

• organisant des campagnes d’évaluation (ou challenge) qui permettent aux agences publiques :
  • de déterminer la maturité des technologies et valider des nouvelles voies de R&D,
  • de juger de l’efficacité des financements publics consentis,
  • d’inciter à l’innovation en créant une émulation (une « coopétition »),
• développant des méthodes et métriques d’évaluation permettant d’assurer :
  • une mesure répétable des performances,
  • la reproductibilité des expérimentations.

Les campagnes d’évaluation organisées par le LNE sont des projets pluriannuels qui consistent à proposer un cadre commun pour la mise en compétition d’équipes développant des approches concurrentes. Ces campagnes constituent un moyen d’organisation et de motivation essentiel, à l’entretien d’échanges entre différents participants, suscitant un effet d’entrainement important et permettant de lever des verrous scientifiques ou technologiques, d’améliorer les performances et d’accompagner la montée en TRL (Technology Readiness Level) des systèmes concernés.

Moyens

Banques de données

Les données sont la clé de l’évaluation et du développement de l'IA. Le LNE est familiarisé à la constitution de banques de données vastes, de qualité, structurées et annotées. Elles peuvent être constituées à partir des données du client ou fournies par les partenaires du LNE, des experts métiers dans les différents domaines couverts par ses évaluations. Le LNE, veille au respect de leur confidentialité et de leur propriété.

Le LNE organise des évaluations de systèmes d’IA qui utilisent des données de différentes natures :

• Le texte : traduction automatique, classification des documents, structuration et résumé, reconnaissance d'entités nommées, réponse aux questions, etc.
• Le log file : cybersécurité.
• La parole : reconnaissance automatique de la parole, identification de la langue et du locuteur, détection de termes parlés, traduction, etc.
• La vidéo et l'image : reconnaissance d'objets, détection de tête, suivi de personne, reconnaissance optique de caractères.
• Les mesures de capteurs utilisés en robotique ou pour les véhicules autonomes.

Des environnements de test

En fonction des besoins du client, le LNE est en mesure de réaliser à la fois des essais physiques dans des environnements réels mais contrôlés, des essais virtuels dans des environnements entièrement simulés et des essais mixtes couplant des stimulations réelles et simulées.

Les essais en environnements réels sont réalisés dans des salles anéchoïques et réverbérantes, des enceintes climatiques (température, humidité, pression), de brouillard salin ou d’ensoleillement, de manière à analyser l’influence des conditions environnementales sur les performances des systèmes intelligents. Le LNE est également en mesure de réaliser des essais de vibration, de choc et d’accélération constante pour évaluer le comportement des systèmes dans des conditions extrêmes, afin de déterminer précisément les conditions limites de fonctionnement.

Pour l’évaluation de systèmes autonomes se déplaçant dans des environnements ouverts et changeants, étant donné le nombre quasi infini de configurations auxquelles pourra être confronté le système, le LNE participe au développement d’environnements de test virtuels permettant une validation du système par simulation. Cette virtualisation de la caractérisation des systèmes intelligents permet de s’affranchir des coûts prohibitifs qui seraient engendrés par une réalisation de tous les essais dans des environnements réels.

Des activités de recherche menées en amont des évaluations

De manière à réaliser ses moyens d’évaluation et à maintenir ses propres compétences, le LNE mène aussi des projets de recherche, bien contingentés et bien ciblés, seul ou dans le cadre de partenariats publics et privés, et assure le transfert de ses résultats le cas échéant. Les sujets de recherche du LNE portent généralement sur :

• des protocoles d'évaluation,
• des outils (logiciels d’annotation/de qualification des données, etc.) et des métriques,
• des environnements de test réels et virtuels.

Des activités de normalisation

Le LNE participe également aux grands enjeux transverses de l’IA en développant des référentiels pour expliquer, garantir et certifier les systèmes intelligents et pour permettre l’élaboration de normes et de règlements. Le LNE participe notamment à la commission AFNOR sur l’intelligence artificielle, au Comité stratégique information et communication numérique d’AFNOR et à la section 81 de l’UNM portant sur la robotique industrielle.

Ces référentiels permettront aux industriels de connaître précisément les attendus réglementaire avant la mise sur le marché d’un système intelligent et de rassurer le consommateur vis-à-vis du produit, notamment par une approche éthique et responsable de l’intelligence artificielle.

Projets et publications