Menu
Afin de répondre aux besoins de conformité, de qualité et de compétitivité des professionnels concernant les solutions d’intelligence artificielle, ainsi qu’aux enjeux de confiance du grand public, le LNE évalue les algorithmes et les systèmes embarquant de l’IA au sein de son laboratoire d’évaluation de l’IA. Constitué de plusieurs plateformes d’essais, ce laboratoire permet de caractériser la fiabilité de l’IA, sécuriser son usage, améliorer ses performances, et de s’assurer de son caractère éthique.
Prestations d’évaluation des systèmes d’IA proposées
Dans le but d’évaluer les algorithmes et les systèmes embarquant de l’IA (robots d’aide à la personne, caméras intelligentes, robots d’intervention civils et militaires, etc.), de caractériser leur fiabilité, sécuriser leur usage, et s’assurer de leur caractère éthique*, le LNE travaille depuis plusieurs années au déploiement d’infrastructures uniques en Europe à travers son laboratoire d’évaluation de l’IA. Ce dernier est constitué de plateformes d’essais proposant une déclinaison d’approches permettant de réaliser différentes évaluations.
En fonction de votre besoin, le LNE vous propose un ensemble de prestations permettant de plonger votre système dans une réalité dynamique simulée, avec différents niveaux de réalisme. Le système pourra alors être soumis à une multitude de scénarios de tests dynamiques et réalistes afin d’évaluer ses réactions dans un environnement contrôlé (intérieur d’un appartement, route, etc.) et avec des ambiances complexes (conditions météorologiques et sonores, luminosité, etc.).
*Caractère éthique : ensemble des données traitées de manière équitable, juste information divulguée à l’utilisateur.
Assistance technique
Afin d’améliorer la qualité de vos produits, de vous préparer aux futurs enjeux techniques ou de valider vos cahiers de charges pour vos achats, notre équipe d’experts peut vous accompagner sous forme d’assistance technique.
Parmi les services proposés, nous pouvons notamment :
- Evaluer le processus d’apprentissage ou d’évaluation de la fonctionnalité d’IA
- Evaluer sur bases de données de la fiabilité des algorithmes et systèmes embarquant de l’IA
- Apporter une assistance dans la définition du plan d’évaluation de votre système d’IA
Essais sur bases de données « LE.IA Data »
La plateforme « LE.IA Data » permet d’évaluer les performances et la fiabilité d’un algorithme d’IA, par la réalisation d’essais sur bases de données.
Un plan d’évaluation du produit est réalisé. Il intègre une identification des différents facteurs d’influence, une définition des critères d’évaluation, et des scénarios de tests. Pour réaliser cette évaluation, un travail important est apporté sur le développement de métriques adéquates, portant sur la performance globale du système et de ses différentes composantes. Les métriques servent de mesures de base et permettent de tracer l’origine des sous-performances identifiées.
Il est également nécessaire d’avoir différentes données issues du produit qu’il faudra qualifier et annoter pour évaluer le produit de la manière la plus précise possible.
Avantages : l’évaluation permet d’assurer la fiabilité et la robustesse du produit et d’améliorer ses performances. Elle sécurise son utilisation grâce à l’utilisation de données contrôlées et interprétables.
Produits types évalués : applications logicielles de reconnaissance vocale, de reconnaissance de caractères (OCR, analyse de contenu de texte) ou d’images (recherche de personnes par ex. ou d’anomalies, vidéo).
Essais en Simulation « LE.IA Simulation »
La plateforme « LE.IA Simulation » permet de tester le dispositif en simulation, selon plusieurs scénarios, afin d’évaluer sa performance.
Dans le cas d’un robot modélisé, pour simuler ses déplacements, seul l’algorithme est évalué, sans accès à une boucle de commande, ni au temps de traitement des données du robot par exemple.
Avantages :
- La simulation permet de tester un nombre conséquent de variations de l’environnement (plusieurs millions)
- Les tests sont reproductibles, permettant de se focaliser sur la performance du système testé et non sur la reproduction du scénario de test
- Un même test en conditions réelles ne pourrait être réalisé, pour des raisons de coût et de contrôle de la diversité des paramètres d’environnement.
Produits types évalués : robots avec des caméras 3D et autres capteurs, dispositifs mobiles (véhicules autonomes...), caméras avec fonctionnalités d’IA, etc.
Essais en Réalité Virtuelle « LE.IA Immersion »
La plateforme « LE.IA Immersion » permet de mettre en situation le dispositif réel au sein d’un environnement virtuel afin de tester ses caractéristiques d’asservissement et de prise de décision dans un environnement donné.
Image
Le robot est placé au cœur d’une simulation projetée sur écran 300°.
Un système de motion capture et un tapis roulant instrumentalisé mesurent les déplacements du robot.
Ces données sont intégrées dans le simulateur en temps réel, pour que le jumeau numérique du robot suive les mêmes déplacements.
De même, le simulateur intègre un moteur physique et des modèles de capteurs avancés qui permettent de substituer en temps réel une sortie capteur virtuelle aux capteurs du robot.
Avantages :
- Le procédé de réalité virtuelle permet de tester des caractéristiques de terrain et de vérifier les contraintes physiques subies par le robot avant qu’elles ne soient éprouvées en conditions réelles.
- Le retour sur investissement de ces essais est très positif dans la phase de développement du produit car il permet de réduire les coûts de faisabilité et de réalisation d’une mise en situation du robot dans toutes les configurations possibles de l’environnement.
- Le temps d’immobilisation du robot est court.
Produits types évalués : robots mobiles à navigation visuelle à base de caméras 2D, ou caméras « intelligentes » (avec fonctionnalités d’IA). Prise en charge des autres capteurs (caméra 3D, GPS, Lidar, sonar, etc.) par injection de données depuis le simulateur.
Exemples de performances testées
- Mobilité : lorsque le robot testé réagit, l’environnement change pour s’adapter à sa marche et il modifie, par exemple, la vitesse et la direction de défilement de l’environnement simulé, ou simulent des collisions qui s’adaptent aux actions du robot. Il est notamment possible de repérer si le robot tourne sur lui-même en raison d’une roue défaillante, à l’aide de « convoyeurs » ou de tapis roulants fabriqués sur mesure.
- Fonctionnement de l’algorithme en situation réelle par rapport à la résistance : le convoyeur de la plateforme peut fonctionner en mode passif ou actif, ce qui permet de réguler la résistance au roulement des roues.
Un sol sableux peut entraîner plus de résistance et nécessiter plus de puissance pour piloter le robot. Ce test permet alors d’évaluer le fonctionnement de l’algorithme en situation réelle, où la puissance disponible est limitée. - Temps de réaction : par exemple, dans le cas d’un piéton marchant sur une route, le LNE évalue le temps de réaction complet du robot (traitement du flux de données, détection du piéton, prise de décision et transmission de la commande aux roues) pour voir à quelle vitesse le système robot complet réagit. La simulation permet de tester ce scénario dans différentes configurations d’environnement routier ou de types de piétons.
Essais en environnement réel « LE.IA Action »
La plateforme « LE.IA Action » permet de mettre le dispositif en situation d’exécution réelle.
Modulaire, cette plateforme couvre plusieurs domaines de la robotique. Elle dispose notamment d’une chambre climatique permettant de valider le fonctionnement du robot à différentes températures, et de caméras de tracking pour mesurer ses mouvements.
Les modules conçus pour les tests de déplacement (terrains rugueux, labyrinthes…) et de manipulation (poignées, valves, positionnement 6D) sont construits à partir de standards du NIST (National Institute of Standards and Technology).
Avantages :
- Test dans un environnement de référence contrôlé, permettant de tester les capacités physiques du robot,
- Réalisation de tests réglementaires de sécurité permettant de garantir que le robot présente exactement le comportement spécifique attendu.
Produits types évalués : tous types de robots terrestres devant évoluer dans des environnements complexes comme un terrain accidenté (robot de recherche et sauvetage, robot agricole, surveillance). Robots devant manipuler des objets ou des actionneurs dans un environnement humain. Manipulation dextre avec des contraintes spatiales.
Exemples de performances testées
Les performances du robot pouvant être testées sont liées :
- Mobilité : vérifier sa capacité à pouvoir monter des marches dans un temps donné,
- Résistance environnementale : vérifier sa capacité à résister aux éléments présents sur sa trajectoire (terrain lisse, rugueux, présence de gravier, sable, d’obstacles...),
- Vision : tester sa capacité à se mouvoir dans l’obscurité (vision),
- Robustesse à la chute : éprouver sa robustesse en cas de chute et sa capacité à se relever, etc.
Fiche détaillée de la prestation
Afin de répondre aux besoins de conformité, de qualité et de compétitivité concernant les solutions d’intelligence artificielle, le LNE évalue les algorithmes et les systèmes embarquant de l’IA.
Téléchargez la fiche détaillée
Document pdf - 187.12 Ko
Quels bénéfices à évaluer les performances d’une IA ?
Afin de garantir aux acteurs concernés (développeurs, intégrateurs, utilisateurs finaux au sein des entreprises, organismes publics) des systèmes fiables, sûrs et dignes de confiance, l’évaluation rigoureuse de la performance et de la robustesse des systèmes d’IA est indispensable.
La qualification de systèmes intelligents permet aux différents acteurs de l’IA d’atteindre leurs objectifs de performances et d’obtenir différents bénéfices :
- Disposer d’un outil majeur d’aide à la décision, en disposant de repères et de résultats fiables pour qualifier ces systèmes
- Bénéficier d’un avantage compétitif grâce à des analyses comparatives de performance (justesse, robustesse, périmètre de fonctionnement, etc.)
- Evaluer l’efficacité des investissements consentis en obtenant des informations sur la performance du système développé, acheté ou financé
- Répondre au besoin de confiance des professionnels et du grand public, un point particulièrement important dans des domaines aussi sensibles que la médecine, la défense ou les véhicules autonomes, mais également dans les secteurs de l’agroalimentaire ou de l’industrie 4.0, et répondre aux craintes suscitées par l’avènement de l’IA générative, telles que l’IA conversationnelle ChatGPT-4.
Bénéfices apportés aux développeurs
- Optimiser leurs processus de développement jusqu’à atteindre un produit viable, en identifiant l’origine des sous-performances
- Faire progresser l’efficacité de leurs solutions technologiques
- Apprécier la pertinence des choix et orientations technologiques effectués, grâce au développement des métriques portant sur la performance globale du système, et des métriques spécifiques associées à ses différentes composantes, permettant de tracer l’origine des sous-performances
- Identifier les briques technologiques intelligentes les plus performantes pour une tâche donnée
- Garantir à leurs clients la conformité de leurs systèmes à des exigences fonctionnelles, techniques, de qualité, ou aux réglementions en vigueur.
Bénéfices apportés aux intégrateurs et utilisateurs finaux au sein des entreprises
- Choisir de façon pragmatique la solution d’IA adaptée au besoin de leur entreprise parmi les technologies existantes grâce à des tests de robustesse fiables
- Bénéficier d’une plus grande diversité d’environnements pour tester leur système
- Être accompagné après l’acquisition de la solution technologique pour :
- Valider les fonctionnalités du système,
- Identifier les briques technologiques à adapter aux besoins de l’utilisateur final.
Bénéfices apportés aux agences de financement et organismes publics
- Estimer l’impact des investissements consentis
- Trouver les meilleurs fournisseurs de technologies du marché
- Bénéficier d’une assistance à la maîtrise d’ouvrage, grâce à l’organisation de campagnes d’évaluation (challenges) et en développant des méthodes et métriques d’évaluation.
L’ensemble de ces critères sont importants dans des domaines aussi sensibles que la médecine, la défense ou les véhicules autonomes, mais également dans les secteurs de l’agroalimentaire ou de l’industrie 4.0, et pour répondre aux craintes suscitées par l’avènement de l’IA générative.
Prestations complémentaires
- Certification des processus d’IA pour répondre aux futures exigences du Règlement IA,
- Formation Intelligence artificielle « évaluer la performance des systèmes »,
- Essais de cybersécurité (Pentest) sur les produits embarqués pour s’assurer de la sécurité des composants utilisés
- Essais de radiofréquences, de sécurité électrique, de CEM, etc.
Testing and Experimentation Facilities : TEF
Pour faire de l’Union européenne le lieu où l’excellence en IA prospère, l’UE met en place des installations de test et d’expérimentation (TEF : Testing and Experimentation Facilities) pour l’IA.
Le LNE participe à trois projets européens de TEF majeurs, ayant chacun pour objectifs de :
- mettre en place des réseaux et des plateformes d’essais pour l’intelligence artificielle,
- développer des méthodes et des moyens d’essais à l’échelle européenne, permettant de qualifier la performance, la fiabilité et la robustesse des systèmes d’IA,
- établir si les systèmes d’IA sont dignes de confiance.
Ces projets permettent de travailler en mode collaboratif avec l’ensemble des partenaires européens, par secteurs d’activités bien définis, pour proposer aux entreprises un dispositif de tests et d’expérimentations subventionné, accessible à travers un portail unique.
Ces plateformes collaboratives joueront un rôle important dans la construction de l’écosystème d’excellence et de confiance de l’IA.
Le LNE coordonne les projets :
- Santé : TEF-Health
- Smart Cities & Communities : Citcom.AI
- Agroalimentaire : agrifoodTEF
Qui peut bénéficier de la subvention ?
Toute PME, TPE et start-up implantée en Europe développant des solutions innovantes et ayant besoin de concevoir, qualifier ou certifier un système utilisant de l’IA est potentiellement éligible au projet TEF.
La subvention se matérialise par une remise attractive directement appliquée sur le tarif des prestations proposées.
Pour en savoir plus
Découvrez notre webinar "L'évaluation de l'intelligence artificielle au bénéfice des acteurs économiques"
Principaux points abordés :
- Quelles sont les spécificités de l’évaluation de l’IA ?
- Qu’est-ce qu’une évaluation (méthode, tâche, protocole, métrique et corpus) ?
- Pourquoi et comment caractériser les environnements de fonctionnement ?
- Quels sont les points durs (représentativité des environnements de test, reproductibilité de l’évaluation, conformité des systèmes d’IA aux exigences légales émergentes, etc.) ?
Consultez nos Avis d’experts:
- Évaluer et certifier l’intelligence artificielle – avril 2023
- IA générative : maîtriser sans interdire – juin 2023
Nos prestations
Le LNE, expert engagé dans la mise en place d’une IA de confiance
- 15 ans d’expérience avec plus de 1 000 systèmes IA évalués pour les industriels ou les pouvoirs publics, dans des domaines aussi sensibles que la médecine, la défense ou le véhicule autonome, mais aussi pour les secteurs de l’agroalimentaire ou de l’industrie 4.0
- Elaboration du premier référentiel pour la certification des processus d’IA, en 2021, qui vise à garantir que les solutions sont développées et mises sur le marché en respectant un ensemble de bonnes pratiques, tant sur les aspects développement algorithmique, sciences des données, que prise en compte du contexte métier et du contexte réglementaire.
- Coordinateur des partenaires français de trois projets européens majeurs, appelés TEF (Testing and Experimentation Facilities, programme Digital Europe), ayant les objectifs suivants :
- mettre en place de réseaux et de plateformes d’essais pour l’intelligence artificielle et la robotique,
- proposer des services à l’industrie des PME européennes, permettant de qualifier la performance, la fiabilité et la robustesse des systèmes d’IA,
- établir s’ils sont dignes de confiance.
- Etablissement public à caractère industriel et commercial, dont la mission historique est d’apporter un soutien à l’industrie et d’assurer la sécurité et la santé des citoyens, pleinement engagé dans la mise en place d’un cadre de confiance pour les systèmes d’IA,
- Un positionnement de tiers de confiance pour accompagner l’essor des IA génératives, en contribuant à assurer leur contrôlabilité et leur conformité à la réglementation.
- Une offre étendue de prestations pour évaluer les performances de produits (tests d’intrusion « pentests » sur produits embarqués, essais de radiofréquences, essais en environnent).
- Organisateurs de « Challenge » dans le domaine de l’IA : Challenge Rose visant à évaluer des robots agricoles destinés au désherbage intra-rang de 2018 à 2021, Challenge scientifique inédit IA-BIODIV pour la biodiversité marine lancé en 2018.
