Fondés sur le principe de collaboration entre concurrents, les challenges coopétitifs définissent un cadre commun permettant d’évaluer et de comparer les performances de solutions technologiques innovantes ou existantes proposées par différents fabricants.

Qu’est-ce qu’un challenge ?

Un « challenge » est un enchainement de campagnes d’évaluation visant à comparer simultanément les performances de plusieurs solutions (produits ou processus) à fort caractère stratégique. A mi-chemin entre compétition et coopération, le challenge coopétitif donne aux participants l’opportunité de collaborer en vue d’améliorer leurs solutions et de lever des verrous scientifiques ou technologiques.

Les organismes publics ainsi que les grandes entreprises privées recourent aux challenges pour trouver les meilleurs fournisseurs de technologies lorsque les enjeux financiers ou sociétaux sont majeurs, justifiant ainsi la mise en compétition d’équipes développant des approches scientifiques et technologiques concurrentes.

Bénéfices d’un challenge

Les campagnes d’évaluation, réels facteurs de progrès, ont pour objectif de montrer l’évolution des performances de solutions. Les challenges incitent à l’innovation en facilitant les échanges entre experts et en créant une émulation.

Pour le donneur d’ordre et les développeurs de technologies, ces challenges permettent :

• d’apprécier en toute transparence la maturité des solutions ;
• d’identifier les points d’amélioration et les progrès réalisés entre deux évaluations ;
• d’actualiser l’état de l’art du domaine.

Techniquement, elles sont réalisées de manière à :

• mesurer avec répétabilité les performances de différentes approches en vue de leur comparaison ;
• assurer la reproductibilité des expérimentations ;
• attester de la conformité du produit à des exigences fonctionnelles et techniques.

Pour les utilisateurs finaux, l’évaluation comparative permet de clarifier l’offre et d’identifier les meilleures solutions, afin de choisir en connaissance de cause parmi les options disponibles.

Le challenge fournit ainsi à ses donneurs d’ordre des repères et résultats quantitatifs et fiables pour caractériser les systèmes évalués, afin de rendre possible une prise de décision pragmatique et argumentée.

Déroulement d’un challenge

Un challenge implique 3 acteurs principaux : le donneur d’ordre, l’organisateur et les participants.

En fonction des exigences du donneur d’ordre, le LNE peut mettre à disposition de la communauté les outils d’évaluation (application automatique de métriques, analyses statistiques des résultats, etc.) et les bases de données (audio, image, log, sorties capteurs, etc.) ou environnements de test (plateformes d’essais physiques ou virtuelles, etc.) utilisés dans le cadre du challenge.

Déroulement de l’évaluation

L’évaluation repose sur des principes métrologiques fondamentaux et consiste à comparer, grâce à des métriques, les données de référence¹ avec les données hypothèses². Les métriques sont déduites des objectifs du challenge qui sont eux-mêmes déterminés à partir des verrous scientifiques et technologiques identifiés par le donneur d’ordre. Le plan d’évaluation formalise les tâches d’évaluation, identifie et analyse les facteurs d’influence et présente le protocole d’évaluation.

Au cours du processus d’évaluation, des outils sont mis en place afin de gérer les données de tests (analyse statistique de la représentativité des bases de données, outils d’annotation et de pré-annotation automatique...), et l’environnement de test, de contrôler et mesurer les facteurs d’influence. Des outils d’évaluation et d’analyse des résultats sont également développés.

¹Données de référence : données annotées par des experts humains ou fournies par des instruments de mesure.

²Données hypothèses : données produits par la solution évaluée.

Exemples de challenges

Challenge ROSE

Le Challenge ROSE, Robotique et Capteurs au Service d'Ecophyto, est organisé par le LNE, Irstea et l’ANR. L’objectif de ce challenge est de mettre en compétition différents consortiums proposant des solutions automatisées de désherbage et ainsi de susciter la mise au point de solutions technologiques innovantes permettant de réduire l’utilisation des produits phytopharmaceutiques.

Plus d’informations sur le site Challenge ROSE

Challenge IA Biodiv

Répondre aux enjeux de la biodiversité marine en s’appuyant sur l’intelligence artificielle (IA) tels sont les objectifs des trois équipes sélectionnées pour participer au challenge IA-Biodiv qui vise à prédire les évolutions de la biodiversité du milieu marin en mer Méditerranée et dans l’océan Pacifique et à élaborer des indicateurs fiables.

En savoir plus sur le Challenge IA-Biodiv

Exemples applicatifs

Si jusqu’à maintenant les challenges organisés par le LNE s’appliquaient à l’intelligence artificielle, d’autres domaines peuvent faire l’objet de challenge, par exemple :

Pourquoi choisir le LNE ?

Le LNE a développé une méthodologie propre à l’organisation des challenges relatifs à l’IA (plus de 900 systèmes intelligents évalués depuis 2008), qui peut se déployer sur tout autre domaine d’activité. Fort de ses collaborations avec l’ANR (Agence national de la recherche) et la DGA (Direction générale de l’armement), ainsi que de ses travaux réalisés dans le cadre de projets CHIST-ERA et H2020, le LNE a la capacité de prendre en charge l’organisation de multiples challenges.

Nous contacter

Vous avez un projet ou une problématique ? Vous souhaitez être accompagné ?

Faites-nous part de votre besoin