LE.IA, laboratoire d'évaluation de l'IA

Retour

Pour valider le fonctionnement d’un système d’IA, de sécuriser son usage, d’améliorer ses performances, et de s’assurer de son caractère éthique, le LNE est doté d’un laboratoire d’évaluation de l’IA (LE.IA) constitué de plusieurs plateformes d’essais.

Grâce à des solutions d’évaluation des bases de données, des algorithmes et systèmes embarquant de l’IA, le LNE vous permet de répondre aux besoins de confiance, de conformité et de fiabilité des solutions d’intelligence artificielle.

LE.IA : testez, évaluez, maîtrisez votre IA

Plateformation laboratoires LEIA - évaluation intelligence articielle

Votre algorithme ou système d’IA peut être autonome (logiciel, application, etc.) ou être intégré dans un matériel ou un dispositif (dispositif médical, robot d’aide à la personne, caméra intelligente, etc.).

En tant qu’organisme tiers, le LNE propose à travers son laboratoire d’évaluation de l’IA (LE.IA) des solutions techniques de pointe et des méthodes de qualification des systèmes d’IA afin de sécuriser leur usage et de donner confiance.

En fonction de votre IA, nos experts vous orienteront sur la solution LE.IA la plus adéquate, tout en conservant une méthode structurée d’évaluation :

Nos compétences sont adaptées à l’ensemble des secteurs d’activités nécessitant de sécuriser l’utilisation de l’IA, tels que la santé, l’imagerie médicale, l’énergie, la défense, la surveillance et la finance, entre autres.

Qualifications réalisables

IA générative d'usage général

Dotée d’expertises de haut niveau en audio, texte, images et vidéos, notre équipe technique peut répondre à vos différents besoins de qualification et de validation de votre système d’IA et vous accompagner dans le développement et l’intégration d’IA générative à usage général, que ce soit pour des applications civiles ou militaires.

Parole	Reconnaissance automatique de la parole, identification de la langue et du locuteur, détection de termes parlés, etc. Applications de transcription automatique de la parole, traduction automatique, diarisation et détection d’entités nommées Comparaison de voix pour la criminalistique
Texte	Reconnaissance de caractères (OCR, analyse de contenu texte) Classification, structuration et résumé de documents Reconnaissance d'entités nommées systèmes de question-réponse, etc.
Vidéo et images	Reconnaissance d’images, de personnes ou d’objets, de formes Détection de tête, suivi de personne, etc. Recherche d’anomalies

Le LNE utilise différents outils permettant d’évaluer les systèmes de transcription automatique de la parole, et a développé des outils spécifiques comme :

Datomatic pour l’organisation des données et constituer une base de références
Evalomatic pour tester la pertinence des logiciels en comparant leurs résultats aux références fournies

Robots embarquant de l'IA

Le LNE dispose d’infrastructures uniques vous permettant de valider vos scénarios de modèles d’IA intégrés dans un dispositif matériel.

A travers une simulation ou une immersion dans un environnement virtuel, vous collectez des données qui pourront être utilisées pour identifier les faiblesses éventuelles et explorer les limites fonctionnelles de votre solution.

La simulation vous permettra de gagner du temps sur la collecte de données et d’optimiser vos coûts de développement.

Produits types évalués : capteurs et caméras de surveillance intelligents, drones, robots avec caméras 2D ou 3D, Lidar, Sonar, dispositifs mobiles (véhicules autonomes, aide à la personne, ...), etc.

Essais en Simulation « LE.IA Simulation »

La plateforme HiL « LE.IA Simulation » permet de tester le dispositif en simulation, selon plusieurs scénarios, afin d’évaluer sa performance.

Dans le cas d’un robot modélisé, pour simuler ses déplacements, seul l’algorithme est évalué, sans accès à une boucle de commande, ni au temps de traitement des données du robot par exemple.

Avantages :

Tests d'un nombre conséquent de variations de l'environnement (plusieurs millions)
Tests reproductibles, permettant de se focaliser sur la performance du système testé et non sur la reproduction du scénario de test
Optimisation du temps et des coûts via une automatisation des essais

Essais en Réalité Virtuelle « LE.IA Immersion »

La plateforme « LE.IA Immersion » permet de mettre en situation le dispositif réel au sein d’un environnement virtuel afin de tester ses caractéristiques d’asservissement et de prise de décision dans un environnement donné (plateforme HiL -hardware in the loop-). Le robot est placé au cœur d’une simulation projetée sur écran à 300° disposant d’un système de motion capture. Ces données sont intégrées dans le simulateur en temps réel, pour que le jumeau numérique du robot suive les mêmes déplacements.

Avantages :

Sécurité accrue : simuler des scénarios dangereux ou extrêmes (pannes, conditions météorologiques extrêmes) sans risque pour les personnes ou l'équipement coûteux.
Réduction des coûts : Moins besoin de prototypes physiques coûteux et de bancs d'essai complexes. Les erreurs peuvent être détectées et corrigées plus tôt dans le cycle de développement.
Gain de temps : Les tests peuvent être automatisés et exécutés 24h/24, 7j/7, accélérant ainsi le processus de validation. Il est possible de tester avant même que tous les composants physiques soient disponibles.
Répétabilité et précision : Les tests peuvent être reproduits de manière identique, garantissant la cohérence des résultats et facilitant la détection de bogues intermittents.
Couverture de test exhaustive : Permet de tester un très grand nombre de scénarios, y compris ceux qui seraient difficiles, coûteux ou dangereux à recréer dans la réalité.
Débogage facilité : L'environnement simulé offre une visibilité totale sur l'état de tous les paramètres, facilitant le diagnostic des problèmes.

Exemples de performances testées

La mobilité du robot
Sa réactivité réelle
Le fonctionnement de l'algorithme en situation

Essais en environnement réel « LE.IA Action »

La plateforme « LE.IA Action » permet de mettre le dispositif en situation d’exécution réelle.

Modulaire, cette plateforme couvre plusieurs domaines de la robotique. Elle dispose notamment d’une chambre climatique permettant de valider le fonctionnement du robot à différentes températures, et de caméras de tracking pour mesurer ses mouvements.

Les modules conçus pour les tests de déplacement (terrains rugueux, labyrinthes…) et de manipulation (poignées, valves, positionnement 6D) sont construits à partir de standards du NIST (National Institute of Standards and Technology).

Avantages : Test dans un environnement de référence contrôlé pour tester les capacités physiques du robot, reproductibilité, répétabilité

Exemples de performances testées

La mobilité et son temps de réaction
La prise de décision
L’adaptabilité et sa résistance à son environnement
Sa vision et sa capacité à se mouvoir dans l’obscurité
L’adaptabilité et sa résistance à son environnement

Le LNE, expert engagé dans l'IA de confiance

+ de 15 ans d’expérience et + de 1500 évaluations de systèmes d’IA dans des domaines aussi sensibles que la médecine, la défense, la vidéosurveillance ou le véhicule autonome
Accompagnement complet grâce à des compétences combinées en évaluation de l’IA, en normalisation et en certification
Organisme tiers indépendant pleinement engagé dans la mise en place d’un cadre de confiance pour les systèmes d’IA,
Des prestations et évaluations adaptées aux spécificités de votre projet, pour répondre aux besoins techniques, réglementaires et sectoriels
Collaboration continue avec sa filiale GMED pour répondre aux besoins du marché sur les DM intelligents

A consulter aussi...

Démontrer la fiabilité de vos systèmes d’intelligence artificielle

Afin de répondre aux besoins de confiance, de conformité et de fiabilité des solutions d’intelligence artificielle, le LNE propose des solutions d’évaluation des bases de données, des algorithmes et systèmes embarquant de l’IA. Valider ...