Évaluation des systèmes d’intelligence artificielle

Afin de répondre aux besoins de conformité, de qualité et de compétitivité des professionnels concernant les solutions d’intelligence artificielle, ainsi qu’aux enjeux de confiance du grand public, le LNE évalue les algorithmes et les systèmes embarquant de l’IA au sein de son laboratoire d’évaluation de l’IA. Constitué de plusieurs plateformes d’essais, ce laboratoire permet de caractériser la fiabilité de l’IA, sécuriser son usage, améliorer ses performances, et de s’assurer de son caractère éthique.

Prestations d’évaluation des systèmes d’IA proposées

Dans le but d’évaluer les algorithmes et les systèmes embarquant de l’IA (robots d’aide à la personne, caméras intelligentes, robots d’intervention civils et militaires, etc.), de caractériser leur fiabilité, sécuriser leur usage, et s’assurer de leur caractère éthique*, le LNE travaille depuis plusieurs années au déploiement d’infrastructures uniques en Europe à travers son laboratoire d’évaluation de l’IA. Ce dernier est constitué de plateformes d’essais proposant une déclinaison d’approches permettant de réaliser différentes évaluations.

En fonction de votre besoin, le LNE vous propose un ensemble de prestations permettant de plonger votre système dans une réalité dynamique simulée, avec différents niveaux de réalisme. Le système pourra alors être soumis à une multitude de scénarios de tests dynamiques et réalistes afin d’évaluer ses réactions dans un environnement contrôlé (intérieur d’un appartement, route, etc.) et avec des ambiances complexes (conditions météorologiques et sonores, luminosité, etc.).

*Caractère éthique : ensemble des données traitées de manière équitable, juste information divulguée à l’utilisateur.

Assistance technique

Afin d’améliorer la qualité de vos produits, de vous préparer aux futurs enjeux techniques ou de valider vos cahiers de charges pour vos achats, notre équipe d’experts peut vous accompagner sous forme d’assistance technique.

Parmi les services proposés, nous pouvons notamment :

  • Evaluer le processus d’apprentissage ou d’évaluation de la fonctionnalité d’IA
  • Evaluer sur bases de données de la fiabilité des algorithmes et systèmes embarquant de l’IA
  • Apporter une assistance dans la définition du plan d’évaluation de votre système d’IA

Essais sur bases de données « LE.IA Data »

Cette plateforme « LE.IA Data » permettra d’évaluer les performances et la fiabilité d’un algorithme d’IA.

Un plan d’évaluation du produit est réalisé. Il intègre une identification des différents facteurs d’influence, une définition des critères d’évaluation, et des scénarios de tests. Pour réaliser cette évaluation, un travail important est apporté sur le développement de métriques adéquates, portant sur la performance globale du système et de ses différentes composantes. Les métriques servent de mesures de base et permettent de tracer l’origine des sous-performances identifiées.

Il est également nécessaire d’avoir différentes données issues du produit qu’il faudra qualifier et annoter pour évaluer le produit de la manière la plus précise possible.

info

Avantages : l’évaluation permet d’assurer la fiabilité et la robustesse du produit et d’améliorer ses performances. Elle sécurise son utilisation grâce à l’utilisation de données interprétables.

Produits types évalués : applications logicielles de reconnaissance vocale, de caractère (analyse de contenu de texte) ou d’images (recherche de personnes par ex. ou d’anomalies).

Essais en Simulation « LE.IA Simulation »

La plateforme « LE.IA Simulation » permet de tester votre dispositif en simulation, selon plusieurs scénarios, afin d’évaluer sa performance.

Dans le cas d’un robot modélisé pour simuler les déplacements, seul l’algorithme est évalué, sans accès à une boucle de commande, ni au temps de traitement des données du robot par exemple.

info

Avantages :

  • La simulation permet de tester un nombre conséquent de variations de l’environnement (plusieurs millions). 
  • Un même test en conditions réelles ne pourrait être réalisé, pour des raisons de coût et de contrôle de la diversité des paramètres d’environnement.

Produits types évalués : robots avec des caméras 3D et autres capteurs, dispositifs mobiles (véhicules autonomes...), caméras avec fonctionnalités d’IA, etc.

Essais en Réalité Virtuelle « LE.IA Immersion »

La plateforme « LE.IA Immersion » permet de mettre en situation votre dispositif au sein d’un environnement virtuel afin de tester ses caractéristiques d’asservissement et de prise de décision dans un environnement donné.

Image
Plateforme LEIA : laboratoire d'évaluation de l'intelligence artificielle
Plateforme LE.IA Immersion

Un système de motion capture et un tapis roulant instrumentalisé mesurent les déplacements du robot.

Ces données sont intégrées dans le simulateur en temps réel, pour que le jumeau numérique du robot suive les mêmes déplacements.

De même, le simulateur intègre un moteur physique et des modèles de capteurs avancés qui permettent de substituer en temps réel une sortie capteur virtuelle aux capteurs du robot.

    info

    Avantages :

    • Le procédé de réalité virtuelle permet de tester des caractéristiques de terrain et de vérifier les contraintes physiques subies par le robot avant qu’elles ne soient éprouvées en conditions réelles.
    • Le retour sur investissement de ces essais est très positif dans la phase de développement du produit car il permet de réduire les coûts de faisabilité et de réalisation d’une mise en situation du robot dans toutes les configurations possibles de l’environnement.
    • Le temps d’immobilisation du robot est court

    Produits types évalués : les caméras avec fonctionnalités d’IA, robots à navigation visuelle à base de caméras 2D, prise en charge des autres capteurs (caméra 3D, GPS, Lidar, sonar, etc.) par injection de données depuis le simulateur.

     

    Exemples de performances testées

    • Mobilité lorsque le robot testé réagit, l’environnement change pour s’adapter à sa marche et il modifie, par exemple, la vitesse et la direction de défilement de l’environnement simulé, ou simulent des collisions qui s’adaptent aux actions du robot.Il est notamment possible de repérer si le robot tourne sur lui-même en raison d’une roue défaillante, à l’aide de « convoyeurs » ou de tapis roulants fabriqués sur mesure.
    • Fonctionnement de l’algorithme en situation réelle par rapport à la résistance : le convoyeur de la plateforme peut fonctionner en mode passif ou actif, ce qui permet de réguler la résistance au roulement des roues.
      Un sol sableux peut entraîner plus de résistance et nécessiter plus de puissance pour piloter le robot. Ce test permet alors d’évaluer le fonctionnement de l’algorithme en situation réelle, où la puissance disponible est limitée.
    • Temps de réaction : par exemple, dans le cas d’un piéton marchant sur une route, le LNE évalue le temps de réaction complet du robot (traitement du flux de données, détection du piéton, prise de décision et transmission de la commande aux roues) pour voir à quelle vitesse le système robot complet réagit. La simulation permet de tester ce scénario dans différentes configurations d’environnement routier ou de types de piétons. 

    Essai en environnement réel « LE.IA Action »

    La plateforme « LE.IA Action » permet de mettre votre dispositif en situation d’exécution réelle.

    Modulaire, cette plateforme couvre plusieurs domaines de la robotique. Elle dispose notamment d’une chambre climatique permettant de valider le fonctionnement du robot à différentes températures, et de caméras de tracking pour mesurer ses mouvements.

    Les modules conçus pour les tests de déplacement (terrains rugueux, labyrinthes…) et de manipulation (poignées, valves, positionnement 6D) sont construits à partir de standards du NIST (National Institute of Standards and Technology).

      info

      Avantages :

      • test dans un environnement de référence, réaliste et contrôlé, permettant de tester la capacité physique du robot,
      • réalisation de tests réglementaires de sécurité permettant de garantir que le robot présente exactement le comportement spécifique attendu.

      Produits types évalués : tous types de robots terrestres devant évoluer dans des environnements complexes comme un terrain accidenté (robot de recherche et sauvetage, robot agricole, surveillance). Robots devant manipuler des objets ou des actionneurs dans un environnement humain sans adaptation. Manipulation dextre avec des contraintes spatiales.

       

      Exemples de performances testées

      Les performances du robot pouvant être testées sont liées :

      • à sa mobilité, et à la possibilité de vérifier sa capacité à pouvoir monter des marches dans un temps donné,
      • à sa résistance aux éléments présents sur sa trajectoire (terrain lisse, rugueux, présence de gravier, sable...),
      • à sa capacité à se mouvoir dans l’obscurité (vision),
      • à la possibilité d’éprouver sa robustesse en cas de chute et sa capacité à se relever, etc. 
      Fiche détaillée de la prestation

      Afin de répondre aux besoins de conformité, de qualité et de compétitivité concernant les solutions d’intelligence artificielle, le LNE évalue les algorithmes et les systèmes embarquant de l’IA.

      Téléchargez la fiche détaillée

      Quels bénéfices à évaluer les performances d’une IA ?

      La qualification de systèmes intelligents permet aux différents acteurs de l’IA de répondre aux principales attentes du marché, d’atteindre leurs objectifs de performances et d’obtenir différents bénéfices :

      • Bénéficier d’un outil majeur d’aide à la décision, en disposant de repères et de résultats fiables pour qualifier ces systèmes
      • Disposer d’un avantage compétitif grâce à des analyses comparatives de performance (justesse, robustesse, périmètre de fonctionnement, etc.)
      • Evaluer l’efficacité des investissements consentis en obtenant des informations sur la performance du système développé, acheté ou financé
      • Répondre au besoin de confiance des professionnels et du grand public

      En tant que développeurs, vous pourrez :

      • Optimiser vos processus de développement jusqu’à atteindre un produit viable, en identifiant l’origine des sous-performances
      • Faire progresser l’efficacité de vos solutions technologiques
      • Apprécier la pertinence des choix et orientations technologiques effectués
      • Identifier les briques technologiques intelligentes les plus performantes pour une tâche donnée
      • Garantir à vos clients la conformité de vos systèmes à des exigences fonctionnelles, techniques, de qualité, ou aux réglementions en vigueur.

      En tant qu’intégrateurs et utilisateurs finaux, vous pourrez :

      • Choisir de façon pragmatique la solution d’IA adaptée au besoin de votre entreprise parmi les technologies existantes grâce à des tests de robustesse fiables
      • Bénéficier d’une plus grande diversité d’environnements pour tester votre système
      • Être accompagné après l’acquisition de la solution technologique pour valider :
        • les fonctionnalités du système,
        • identifier les briques technologiques à adapter aux besoins de l’utilisateur final.

      En tant que qu’investisseurs et organismes publics, vous pourrez :

      • Estimer l’impact des investissements consentis
      • Trouver les meilleurs fournisseurs de technologies du marché
      • Bénéficier d’une assistance à la maîtrise d’ouvrage, grâce à l’organisation de campagnes d’évaluation (challenges) et en développant des méthodes et métriques d’évaluation.

      L’ensemble de ces critères sont importants dans des domaines aussi sensibles que la médecine, la défense ou les véhicules autonomes, mais également dans les secteurs de l’agroalimentaire ou de l’industrie 4.0, et pour répondre aux craintes suscitées par l’avènement de l’IA générative.

      Prestations complémentaires

      Testing and Experimentation Facilities : TEF

      Pour faire de l’Union européenne le lieu où l’excellence en IA prospère, l’UE met en place des installations de test et d’expérimentation (TEF : Testing and Experimentation Facilities) pour l’IA.

      Le LNE participe à trois projets européens de TEF majeurs, ayant chacun pour objectifs de :

      • mettre en place des réseaux et des plateformes d’essais pour l’intelligence artificielle,
      • développer des méthodes et des moyens d’essais à l’échelle européenne, permettant de qualifier la performance, la fiabilité et la robustesse des systèmes d’IA,
      • établir si les systèmes d’IA sont dignes de confiance.

      Ces projets permettent de travailler en mode collaboratif avec l’ensemble des partenaires européens, par secteurs d’activités bien définis, pour proposer aux entreprises un dispositif de tests et d’expérimentations subventionné, accessible à travers un portail unique.

      Ces plateformes collaboratives joueront un rôle important dans la construction de l’écosystème d’excellence et de confiance de l’IA.

      Le LNE coordonne les projets :

      Qui peut bénéficier de la subvention ?

      Toute  PME, TPE et start-up implantée en Europe développant des solutions innovantes et ayant besoin de concevoir, qualifier ou certifier un système utilisant de l’IA est potentiellement éligible au projet TEF.

      La subvention se matérialise par une remise attractive directement appliquée sur le tarif des prestations proposées.

      Pour en savoir plus

      Ré-écoutez notre webinar "L'évaluation de l'intelligence artificielle au bénéfice des acteurs économiques"

      Pourquoi choisir le LNE ?

      • 15 ans d’expérience avec plus de 1 000 systèmes IA évalués pour les industriels ou les pouvoirs publics
      • Elaboration du premier référentiel pour la certification des processus d’IA, en 2021, qui vise à garantir que les solutions sont développées et mises sur le marché en respectant un ensemble de bonnes pratiques
      • Organisme indépendant et tiers de confiance (EPIC), dont la mission historique est d’apporter un soutien à l’industrie et d’assurer la sécurité et la santé des citoyens
      • Une offre étendue de prestations pour évaluer les performances de produits

       

      A consulter aussi...