Forum IA 2023
FORUM
Evaluation Intelligence Artificielle
mardi 5 décembre 2023
Paris - Porte de Versailles
Image
Menu
Traitement des données
Dans tout processus industriel, le traitement des données prend une place de plus en plus importante pour la prise de décisions. Qu’il soit réalisé par des systèmes complexes d’intelligences artificielles ou des méthodes d’analyse plus classiques, pour rendre ces décisions fiables, les données ont besoin d’être qualifiées et les estimations obtenues accompagnées d’indicateurs de confiance.
Comment s’assurer que l’incertitude liée aux mesures réalisées vont permettre de prendre les bonnes décisions ? Est-ce que ce Plan d’expériences, cette IA ou cet algorithme de Deep Learning va répondre au besoin ? Autant de questions pour lesquelles le LNE vous accompagne grâce à une large expertise en sciences des données allant de l’évaluation de l’incertitude de mesure à l’évaluation des systèmes d’intelligence artificielle en passant par la mise en œuvre de plans d’expériences, d’analyses statistiques et la mise à disposition de logiciels et d’applications en ligne.
Evaluation de l’incertitude de mesure
Mesurer, tester, étalonner, les entreprises et laboratoires produisent quotidiennement leur lot de données. Pour les rendre exploitables et intelligibles, la qualité de leur traitement est une étape clé indispensable à leur mise en valeur. Pour la prise de décision, les données et mesures ont également besoin d’être qualifiées et d’être accompagnées d’indicateurs de confiance comme l’incertitude de mesure.
Qu’est-ce que l’évaluation de l’incertitude de mesure ?
L’évaluation de l’incertitude de mesure est la quantification du doute associée à une mesure, un indicateur de qualité de celle-ci qui reflète la connaissance que l’utilisateur a d’une grandeur après un mesurage. Cet indice de confiance lui permettra notamment de prendre des décisions en appréciant les risques associés.
La mesure est le cœur de métier du LNE qui en tant qu’expert, participe à la rédaction des standards internationaux en la matière et développe son expertise à travers des programmes de recherche. Au sein du Bureau International des Poids et mesures (BIPM), il contribue notamment au développement des deux référentiels que sont le vocabulaire international de métrologie (VIM) et le guide pour l'expression de l'incertitude de mesure (GUM).
Notre accompagnement en matière d’évaluation des incertitudes de mesure
Notre accompagnement se décline à travers :
- Des programmes de formation
- Des journées d’assistance technique à l’estimation des incertitudes de mesure
- La mise à disposition de logiciels
- Des projets de recherche collaborative
L’incertitude appliquée à la performance énergétique des bâtiments
L’accélération de la rénovation énergétique des bâtiments est un enjeu majeur pour réduire les émissions de gaz à effets de serre. Le LNE se mobilise auprès des grands acteurs nationaux de la filière (CSTB, CEREMA, Université Gustave Eiffel...) afin de permettre une meilleure évaluation et vérification de la performance énergétique des bâtiments aussi bien neufs à haute performance énergétique, que existants, avant et après une action de rénovation. Il contribue ainsi aux travaux méthodologiques menés au sein de la fondation bâtiment énergie (FBE).
Plus spécifiquement, le LNE a contribué au développement d’une méthode de mesure in-situ de la résistance thermique des parois de bâtiment (ANR RESBATI) et à l’évaluation de l’incertitude associée. Par le choix d’une méthode active reposant sur l’excitation thermique de la paroi, la mesure de la résistance thermique est réalisée de manière indirecte à partir de l’observation de mesures de températures et de flux, et nécessite l’utilisation d’un modèle thermique dans le cadre d’une procédure d’inversion Bayésienne.
Zoom sur la conformité et l'incertitude
CaSoft, un logiciel d’aide à la décision
Image
Tous les jours, des décisions de conformité sont prises à partir de résultats de mesure, pour déclarer la conformité d’un instrument de mesure à une Erreur Maximale Tolérée (EMT) suite à un étalonnage ou pour attester de la conformité d’un produit par rapport à une spécification règlementaire. Ces décisions sont immanquablement accompagnées d’un risque, d’une erreur de décision en raison de l’incertitude de mesure.
Pour calculer ces risques et prendre des décisions sereinement, un logiciel, CaSoft a été développé dans le cadre d’un projet européen (EMPIR 17SIP05 CASoft) piloté par le LNE. Le logiciel CaSoft est disponible gratuitement en téléchargement sur notre site.
Plans d’expériences et analyse statistique
La mise en œuvre de plans d’expériences est une méthode efficace pour organiser et/ou optimiser les essais dans l’industrie. Ils peuvent être notamment utilisés dans le but d’évaluer les sources d’incertitude relatives à un processus de mesure particulier ou de simulations numériques.
Les plans d’expériences peuvent être mis en place dans le cadre d’une assistance à l’évaluation des incertitudes de mesure. Couplés à une analyse statistique des résultats, ils permettent de déterminer les facteurs à prendre en compte dans l’évaluation de l’incertitude. En simulation numérique ils permettent de réduire les coûts de développement.
| Problématiques | Solutions | ||
|---|---|---|---|
| Evaluer un effet opérateur, détecter l’effet d’un facteur influent ou trouver un réglage optimum permettant de minimiser l’incertitude. | 
|
Plan d’expérience spécifique au besoin du client couplé à une analyse statistique des résultats obtenus. L’analyse de variance permettant d’identifier, par exemple, si l’effet opérateur est significatif et doit être pris en compte dans l’évaluation de l’incertitude. | |
| Evaluer la performance de codes numériques dans le domaine de la simulation incendie | |
Mise en place de plans d’expériences numériques pour évaluer les probabilités de dépasser des seuils réglementaires associés aux paramètres critiques d’un incendie. |
Traiter ses données avec des algorithmes de Deep Learning
Le monde industriel recours de plus en plus à l'apprentissage automatique ou apprentissage statistique, dits aussi Deep Learning pour traiter des volumes importants de données ou des tâches complexes. Pour répondre aux besoins des industriels le LNE implémente des algorithmes de Deep Learning à l’état de l’art.
Mais une des problématiques majeures est la confiance dans les prédictions fournies par ces algorithmes. C’est pourquoi, les équipes de recherche travaillent également au développement d’une méthodologie innovante d’évaluation de l’incertitude associée aux prédictions de ces algorithmes issus de la communauté du Deep Learning.
Exemple de réalisation
Deep Learning pour la caractérisation des nanomatériaux
Image
“La rupture technologique associée aux nanosciences et nanotechnologies réside dans les outils à développer pour imager, analyser et mesurer la matière à cette échelle réduite” [LNE-NanoTech].
Dans ce cadre, les équipes de recherche du LNE implémentent des algorithmes d’apprentissage profond afin de caractériser les populations de nanomatériaux sur les échantillons mesurés de microscopie électronique à balayage : segmentation, classification et complétion des particules sur chaque échantillon.
Ces nouvelles méthodes, non seulement permettent de réduire drastiquement le temps de traitement par échantillon, mais surtout ouvrent la voie à de nouveaux développements visant à caractériser plus précisément les populations de particules présentes dans les produits de grande consommation : aliments, colorants, peintures...
Outils de traitement de données
Logiciels
Retrouvez l’ensemble de nos logiciels dans notre rubrique « Logiciels »
LNE-Matics : suite logiciel conçue pour l’exploration de données et l’évaluation de systèmes
LNE-MCM : évaluer l’incertitude de mesure par propagation de distributions en utilisant les simulations de Monte Carlo
LNE-REgpoly : intégrer les incertitudes associées aux valeurs-étalons et aux indications pour évaluer des résultats de mesure et d'incertitude
CaSoft : gérer les risques associés à l'évaluation de la conformité lorsque l'incertitude de mesure doit être prise en compte
Evaluation de l’Intelligence Artificielle
L’utilisation de systèmes d’intelligence artificielle (IA) s’accélère dans la société civile et l’industrie, promettant une prise de décision plus efficace face à des environnements toujours plus riches et complexes. Tandis que ces systèmes sont généralement proposés comme des services prêt-à-l’emploi, leur adéquation avec les besoins de leurs utilisateurs peut être sujette à caution.
Pour accompagner les industriels et institutionnels dans le choix d’une solution d’IA adaptée, le LNE construit depuis plus de 10 ans une expertise unique en évaluation des systèmes d’Intelligence Artificielle. Grâce à ses nombreux projets de R&D sur le sujet, il développe des outils, méthodes et référentiels dont le transfert est assuré notamment via une participation aux commissions de normalisation nationale, européenne et internationale en IA.
Pour chaque questionnement lié au choix ou aux performances d’une Intelligence Artificielle, le LNE vous apporte des solutions.
Cette IA répond-elle à mon besoin ?
Analyse de performance
Image
La performance d’un système d’IA est déterminée par sa capacité à produire les résultats attendus face à des données inconnues mais comprises dans le domaine de fonctionnement nominal du système. Il s’agit donc de caractériser ce domaine de fonctionnement effectif et d’en évaluer l’adéquation avec les spécifications du client. Une solution d’IA peut ainsi être évaluée sur un jeu de données fournies par le client, que le LNE utilisera pour réaliser l’analyse détaillée du comportement du système en s’appuyant sur les métriques à l’état-de-l’art les plus adaptées au type de données et à la tâche considérée.
Analyse de robustesse
Image
L’analyse de robustesse enrichi l’analyse de performance par une évaluation de la capacité du système à fonctionner dans des conditions environnementales difficiles. Il s’agit de mesurer l’aptitude du système à maintenir un niveau satisfaisant de performance face à des entrées aux limites de son domaine de fonctionnement. Ces données peuvent être amenées par le client ou produites par le LNE, notamment par la simulation d’effets météorologiques (dans le cas des images) ou sonores (pour les systèmes reposant sur des entrées audio).
Analyse de résilience
Image
Un troisième volet de l’évaluation d’un système d’IA consiste à caractériser sa résilience, en particulier lorsque celui-ci peut être amené à fonctionner en mode dégradé, c’est-à-dire à rencontrer au cours de son cycle de vie des données extérieures à son domaine de fonctionnement nominal. Cela peut notamment se produire lorsque certaines briques technologiques de la chaîne de traitement de l’information du système d’IA rencontrent des défaillances. Le LNE est en mesure de produire ce type d’altération si le client n’apporte pas ses propres données.
Ces trois types d’analyse peuvent être réalisées individuellement ou groupées, selon les besoins exprimés.
Application à un système de détection de personnes
L'analyse de la performance d’un système d’IA conçu pour la détection de personnes dans des scènes consiste à soumettre un nombre arbitraire de scènes claires (personnes bien visibles ou au contraire décors vides, luminosité suffisante, etc.) au système et à analyser les erreurs commises par celui-ci (une personne détectée par erreur ou au contraire non détectée).
L’analyse de robustesse consiste à présenter au système des scènes en luminosité basse ou prises dans de mauvaises conditions environnementales (nuit, pluie ou brouillard).
L'analyse de la résilience se mesure en soumettant au système des images présentant des pixels morts ou un flou, correspondant à un défaut de capteur optique.
Quelle solution IA choisir ?
Benchmarking
L’intelligence artificielle se démocratisant, il devient courant pour un utilisateur final de technologies intelligentes de se trouver face à plusieurs solutions commerciales concurrentes et apparemment capables de répondre à son besoin. Dans ce cas, la comparaison des performances de chaque solution selon un référentiel commun (de données et de métriques) construit à partir du besoin client permet d’identifier de manière fiable la solution la plus adaptée.
Campagnes d’évaluation
Lorsque le besoin client est spécifique, il peut être difficile d’identifier les solutions pré-existantes, il peut même être nécessaire de solliciter la création d’une solution sur-mesure. L’organisation d’une campagne d’évaluation permet alors d’obtenir un panorama des meilleurs experts sur la tâche concernée et d’obtenir une vision de l’état-de-l’art qui répond aux besoins client.
Pourquoi cette IA a-t-elle pris cette décision ?
Construire l’IA de confiance
Dans certaines applications critiques, recevoir uniquement la décision d’un système d’IA ne suffit pas. Celle-ci doit s’accompagner d’une explication décrivant les éléments pris en compte par le système pour arriver à sa conclusion. Très peu de systèmes intègre nativement des fonctionnalités d’explicabilité et il est ainsi souvent nécessaire de recourir à une batterie d’outils externes pour obtenir ces réponses, ce qui pose la question de leur fiabilité.
Le LNE se positionne comme évaluateur de ces outils externes, afin d’assurer ses clients de la pertinence des explications retournées. De plus, il développe en interne ses propres outils d’explicabilité, afin de donner une profondeur supplémentaire à ses évaluations et répondre aux besoins des clients souhaitant faire expliquer leur IA par un tiers de confiance.
Toutes nos prestations détaillées pour l’évaluation des systèmes d’intelligence artificielle
LEIA : Laboratoire d’évaluation de l’intelligence artificielle
Image
Afin de relever les défis actuels et futurs de l’évaluation de l’IA, le LNE a initié la construction de la plateforme LEIA (Laboratoire d’évaluation de l’intelligence artificielle). Il s’agit d’un dispositif unique au monde du fait de sa généricité. En effet, il est conçu pour évaluer n’importe quel robot embarquant des modules d’IA (pour une évaluation globale), tels que les robots d’intervention civils et militaires, d’aide à la personne, d’inspection et de maintenance des infrastructures. Il permet également l’évaluation de modules d’IA isolés (pour l’évaluation plus précise d’un seul composant du robot par exemple).
En savoir plus sur l'évaluation de l'IA
Pour aller plus loin sur l’évaluation des Intelligences Artificielles, consultez notre dossier Evaluer les intelligences artificielles.
Nous contacter
Des besoins en traitements des données ?
