L’intérêt d'évaluer une intelligence artificielle

Lettre d'information - Juillet 2018

Alors que pour le développement et la maintenance de logiciels de dispositifs médicaux, il existe des normes permettant d’évaluer les risques associés à leur utilisation et d’en assurer la maîtrise, tel n’est pas le cas pour l’analyse portant sur la performance de l’intelligence artificielle apportée par le logiciel, pouvant guider la démarche d’évaluation...

L’aspect réglementaire et normatif

Main robotLes logiciels ou systèmes programmables intégrés dans un dispositif médical doivent répondre à la norme harmonisée NF EN 62304. Cette norme énonce des exigences quant au développement et à la maintenance des logiciels de dispositif médical lorsque le logiciel est lui-même un dispositif médical ou lorsque celui-ci fait partie intégrante du dispositif médical. Les exigences de cette norme en complément de celles contenues dans la norme NF EN ISO 14971, permettent d’évaluer les risques associés à l’utilisation du logiciel et d’en assurer finalement la maîtrise.

L’analyse portant sur la performance (fiabilité, robustesse, intégrité, sécurité, etc.) de l’intelligence artificielle apportée par le logiciel ne dispose toutefois pas à ce jour de norme pouvant guider la démarche d’évaluation.   

L’évaluation comme levier de développement

Pour déterminer le niveau de performance d’une technologie, il est nécessaire de développer des métriques. A celles portant sur la performance globale du système, s’ajoutent des métriques spécifiques associées à ses différentes composantes et permettant de tracer l’origine des sous-performances. Elles permettent alors d’apprécier la pertinence des choix et orientations technologiques effectués pour faire progresser l’efficacité de la solution technologique, en particulier lorsque la progression est mise en rapport avec les investissements consentis pour juger de leur efficacité.

L’évaluation est un élément indispensable pour les développeurs de dispositifs médicaux intelligents. Elle permet :

  • d'identifier l’origine des sous-performances et guider les développements futurs,
  • d'estimer la quantité et la nature des efforts à fournir avant le lancement commercial,
  • d'évaluer l’efficacité des investissements consentis pour faire progresser la technologie,
  • de caractériser le périmètre d’utilisation du système,
  • de garantir la conformité du produit à des exigences de qualité et de performance fixées,
  • de se positionner par rapport à la concurrence (en participant à des campagnes d’évaluation),
  • d’être aidé pour choisir la technologie.

L’évaluation, outil d’aide à la décision

Devant la multitude de solutions d’intelligence artificielle pour la santé proposées par des acteurs toujours plus nombreux, un intégrateur souhaitant acquérir un Dispositif médical intelligent, que ce soit un algorithme d’aide au diagnostic ou une solution à intégrer dans un robot chirurgical, doit pouvoir s’appuyer sur des métriques concrètes attestant de l’efficacité et de la robustesse du système. L’évaluation favorise ainsi une prise de décision pragmatique et argumentée lors du choix d’une technologie d’intelligence artificielle.

Une évaluation structurée implique au préalable une spécification précise du besoin et des cas d’usage. Cette étape permet de définir un cadre expérimental pertinent (corpus de données de test annotés, environnement de test, etc.) et de cartographier les briques technologiques ou les solutions du marché pouvant potentiellement répondre au besoin.

Les évaluations effectives des systèmes permettront de qualifier et d’attester les performances de ces systèmes.

Contact

Pour toute question supplémentaire, contactez-nous via notre formulaire

S'abonner

Restez informé sur le marché, l'offre LNE et bénéficiez d'avis d'experts reconnus : 

>>Abonnez-vous

×
En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies conformément à notre politique de données personnelles. En savoir plus.