Afin de répondre aux besoins de conformité, de qualité et de compétitivité des professionnels concernant les solutions d’intelligence artificielle, ainsi qu’aux enjeux de confiance du grand public, le LNE évalue les algorithmes et les systèmes embarquant de l’IA au sein de son laboratoire d’évaluation de l’IA. Constitué de plusieurs plateformes d’essais, ce laboratoire permet de caractériser la fiabilité de l’IA, sécuriser son usage, améliorer ses performances, et de s’assurer de son caractère éthique.
Dans le but d’évaluer les algorithmes et les systèmes embarquant de l’IA (robots d’aide à la personne, caméras intelligentes, robots d’intervention civils et militaires, etc.), de caractériser leur fiabilité, sécuriser leur usage, et s’assurer de leur caractère éthique*, le LNE travaille depuis plusieurs années au déploiement d’infrastructures uniques en Europe à travers son laboratoire d’évaluation de l’IA. Ce dernier est constitué de plateformes d’essais proposant une déclinaison d’approches permettant de réaliser différentes évaluations.
En fonction de votre besoin, le LNE vous propose un ensemble de prestations permettant de plonger votre système dans une réalité dynamique simulée, avec différents niveaux de réalisme. Le système pourra alors être soumis à une multitude de scénarios de tests dynamiques et réalistes afin d’évaluer ses réactions dans un environnement contrôlé (intérieur d’un appartement, route, etc.) et avec des ambiances complexes (conditions météorologiques et sonores, luminosité, etc.).
*Caractère éthique : ensemble des données traitées de manière équitable, juste information divulguée à l’utilisateur.
Afin d’améliorer la qualité de vos produits, de vous préparer aux futurs enjeux techniques ou de valider vos cahiers de charges pour vos achats, notre équipe d’experts peut vous accompagner sous forme d’assistance technique.
Parmi les services proposés, nous pouvons notamment :
Cette plateforme « LE.IA Data » permettra d’évaluer les performances et la fiabilité d’un algorithme d’IA.
Un plan d’évaluation du produit est réalisé. Il intègre une identification des différents facteurs d’influence, une définition des critères d’évaluation, et des scénarios de tests. Pour réaliser cette évaluation, un travail important est apporté sur le développement de métriques adéquates, portant sur la performance globale du système et de ses différentes composantes. Les métriques servent de mesures de base et permettent de tracer l’origine des sous-performances identifiées.
Il est également nécessaire d’avoir différentes données issues du produit qu’il faudra qualifier et annoter pour évaluer le produit de la manière la plus précise possible.
Avantages : l’évaluation permet d’assurer la fiabilité et la robustesse du produit et d’améliorer ses performances. Elle sécurise son utilisation grâce à l’utilisation de données interprétables.
Produits types évalués : applications logicielles de reconnaissance vocale, de caractère (analyse de contenu de texte) ou d’images (recherche de personnes par ex. ou d’anomalies).
La plateforme « LE.IA Simulation » permet de tester votre dispositif en simulation, selon plusieurs scénarios, afin d’évaluer sa performance.
Dans le cas d’un robot modélisé pour simuler les déplacements, seul l’algorithme est évalué, sans accès à une boucle de commande, ni au temps de traitement des données du robot par exemple.
Avantages :
Produits types évalués : robots avec des caméras 3D et autres capteurs, dispositifs mobiles (véhicules autonomes...), caméras avec fonctionnalités d’IA, etc.
La plateforme « LE.IA Immersion » permet de mettre en situation votre dispositif au sein d’un environnement virtuel afin de tester ses caractéristiques d’asservissement et de prise de décision dans un environnement donné.
Un système de motion capture et un tapis roulant instrumentalisé mesurent les déplacements du robot.
Ces données sont intégrées dans le simulateur en temps réel, pour que le jumeau numérique du robot suive les mêmes déplacements.
De même, le simulateur intègre un moteur physique et des modèles de capteurs avancés qui permettent de substituer en temps réel une sortie capteur virtuelle aux capteurs du robot.
Avantages :
Produits types évalués : les caméras avec fonctionnalités d’IA, robots à navigation visuelle à base de caméras 2D, prise en charge des autres capteurs (caméra 3D, GPS, Lidar, sonar, etc.) par injection de données depuis le simulateur.
Exemples de performances testées
La plateforme « LE.IA Action » permet de mettre votre dispositif en situation d’exécution réelle.
Modulaire, cette plateforme couvre plusieurs domaines de la robotique. Elle dispose notamment d’une chambre climatique permettant de valider le fonctionnement du robot à différentes températures, et de caméras de tracking pour mesurer ses mouvements.
Les modules conçus pour les tests de déplacement (terrains rugueux, labyrinthes…) et de manipulation (poignées, valves, positionnement 6D) sont construits à partir de standards du NIST (National Institute of Standards and Technology).
Avantages :
Produits types évalués : tous types de robots terrestres devant évoluer dans des environnements complexes comme un terrain accidenté (robot de recherche et sauvetage, robot agricole, surveillance). Robots devant manipuler des objets ou des actionneurs dans un environnement humain sans adaptation. Manipulation dextre avec des contraintes spatiales.
Exemples de performances testées
Les performances du robot pouvant être testées sont liées :
Afin de répondre aux besoins de conformité, de qualité et de compétitivité concernant les solutions d’intelligence artificielle, le LNE évalue les algorithmes et les systèmes embarquant de l’IA.
Téléchargez la fiche détaillée
La qualification de systèmes intelligents permet aux différents acteurs de l’IA de répondre aux principales attentes du marché, d’atteindre leurs objectifs de performances et d’obtenir différents bénéfices :
En tant que développeurs, vous pourrez :
En tant qu’intégrateurs et utilisateurs finaux, vous pourrez :
En tant que qu’investisseurs et organismes publics, vous pourrez :
L’ensemble de ces critères sont importants dans des domaines aussi sensibles que la médecine, la défense ou les véhicules autonomes, mais également dans les secteurs de l’agroalimentaire ou de l’industrie 4.0, et pour répondre aux craintes suscitées par l’avènement de l’IA générative.
Pour faire de l’Union européenne le lieu où l’excellence en IA prospère, l’UE met en place des installations de test et d’expérimentation (TEF : Testing and Experimentation Facilities) pour l’IA.
Le LNE participe à trois projets européens de TEF majeurs, ayant chacun pour objectifs de :
Ces projets permettent de travailler en mode collaboratif avec l’ensemble des partenaires européens, par secteurs d’activités bien définis, pour proposer aux entreprises un dispositif de tests et d’expérimentations subventionné, accessible à travers un portail unique.
Le LNE coordonne les projets :
Toute PME, TPE et start-up implantée en Europe développant des solutions innovantes et ayant besoin de concevoir, qualifier ou certifier un système utilisant de l’IA est potentiellement éligible au projet TEF.
Ré-écoutez notre webinar "L'évaluation de l'intelligence artificielle au bénéfice des acteurs économiques"