La recherche menée au LNE explore toutes les facettes de l’adoption de l’IA, en déployant son expertise d’évaluateur et son savoir-faire métrologique. Le laboratoire oriente ses actions de recherche sur des thématiques stratégiques : performance, sécurité, cybersécurité, éthique et conformité. Les travaux explorent et combinent les aspects logiciels (IA), les dispositifs physiques (robots, capteurs) et les données. De par ses actions de recherche, le LNE renforce ses compétences pour ses offres d’évaluation et de certification. Les financements de recherche du LNE contribuent également au développement de la plateforme d’évaluation de l’intelligence artificielle LEIA.

L’évaluation de l’IA et de la robotique, ingrédient clé de la transformation numérique

Image

Le LNE pilote le consortium européen du projet H2020 METRICS (2020-2023), qui a pour mission d’organiser des compétitions internationales en robotique et en IA dans quatre domaines identifiés par la Commission européenne : santé, inspection et maintenance des infrastructures, agriculture, production agile. Le LNE coordonne la définition d’une méthodologie d’évaluation commune aux quatre domaines, garantissant reproductibilité, rigueur métrologique et prise en compte de l’acceptabilité des solutions robotisées testées.

METRICS

Performance et sécurité des dispositifs robotisés

De 2018 à 2021, le projet européen H2020 COVR attribuait des bourses de recherche à des équipes de chercheurs souhaitant explorer la création de méthodes pour des robots intelligents sécurisés. Dans le cadre de la bourse Blaxtair Safe, le LNE a analysé les limites du cadre normatif pour la qualification des capteurs de sécurité intégrant de l’IA. Dans le cadre de la bourse ECAI, le LNE a mis en oeuvre une méthode d’essai de la norme ISO/TS 15066:2016 pour évaluer la distance d’arrêt d’un bras robotisé industriel intelligent.

COVR

Le LNE s’est associé avec le Laboratoires des Signaux et des Systèmes (L2S) de CentraleSupelec pour encadrer une thèse CIFRE visant la définition d’une méthode générique reproductible pour l’évaluation de systèmes robotiques collaboratifs intelligents. Dans le cadre d’un partenariat avec le CEA-LIST, le LNE co-encadre également une thèse portant sur la définition d’algorithmes capables de prendre en compte l’expertise de l’utilisateur pour identifier les situations d’erreurs non anticipables par l’IA.

Image

Le LNE mène également des actions de recherche partenariale sur financements propres, pour répondre aux besoins de partenaires souhaitant explorer les limites et opportunités de méthodes d’évaluation.

Acceptabilité des robots de demain et IA de confiance

Aux côtés de partenaires européens, Le LNE contribue au projet H2020 Robotics4EU (2020-2023), qui vise à améliorer l’acceptabilité des robots, notamment dans le domaine de l’industrie du futur. Le LNE pilote la création d’une grille d’évaluation des robots intelligents, qui permettra de noter les robots en fonction de leur maturité sociétale. La grille s’appuie sur des axes éthiques, socio-économiques et légaux, notamment par la prise en compte des éléments essentiels aux IA de confiance définis par l’AI Act, la future réglementation européenne pour l’IA. En parallèle, le LNE contribue au programme français Confiance.ai , financé par le Grand Défi de la stratégie nationale IA. Le consortium français s’appuie sur différents cas d’usage industriels, afin de déterminer les points de vérification et les éléments d’ingénierie constituant le socle d’une IA performante et contrôlée. Dans ce cadre, le LNE apporte ses connaissances métrologiques et d’évaluateur pour la définition de métriques de performance IA, et contribue à définir et structurer un « score de confiance IA ».

Robotics4EU

Confiance.ai

Score de confiance IA

Publications

• Da Silva, M., Regnier, R., Makarov, M., Avrin, G., & Dumur, D. (2023, January). Evaluation of intelligent collaborative robots: a review. In 2023 IEEE/SICE International Symposium on System Integration (SII) (pp. 1-7). IEEE.
• Rajendran, P. T., Espinoza, H., Delaborde, A., & Mraidha, C. (2021). Human-in-the-Loop Learning Methods Toward Safe DL-Based Autonomous Systems: A Review. In Computer Safety, Reliability, and Security. SAFECOMP 2021 Workshops: DECSoS, MAPSOD, DepDevOps, USDAI, and WAISE, York, UK, September 7, 2021, Proceedings 40 (pp. 251-264). Springer International Publishing.
• Avrin, G., Barbosa, V., Delaborde, A. AI evaluation campaigns during robotics competitions: the METRICS paradigm. 1st international workshop on Evaluating Progress in Artificial Intelligence (EPAI 2020) in conjunction with ECAI 2020, Aug 2020, Santiago de Compostela, Spain. 
• Stasse, O., Giraud-Esclasse, K., Brousse, E., Naveau, M., Régnier R., et al.. Benchmarking the HRP-2 humanoid robot during locomotion. Frontiers in Robotics and AI, Frontiers Media S.A., 2018, 5.