CodaLab : des défis scientifiques pour accélérer l’innovation en IA

L’intelligence artificielle (IA) a émergé comme l’un des moteurs de l’innovation et de la transformation sociétale. D’après une étude publiée en janvier dernier, son essor reposerait notamment sur les plateformes de défis scientifiques et techniques. Ces dernières offrent un terrain fertile où chercheurs et entreprises peuvent tester de nouvelles idées pour résoudre des problèmes complexes. « En permettant des évaluations indépendantes et impartiales, ces plateformes accroissent la crédibilité et la fiabilité des avancées réalisées », ajoute Isabelle Guyon, responsable de l’animation scientifique de CodaLab.

CodaLab est justement la plateforme de compétition en machine learning la plus utilisée au monde en 2023 sur des critères scientifiques devant Kaggle de Google et Tianchi d’Alibaba. Entièrement open source, elle est portée par les chercheurs et les ingénieurs du Laboratoire Interdisciplinaire des Sciences du Numérique (LISN – CNRS/Université Paris-Saclay).

Un système de concours prolifique

Les compétitions sont aujourd’hui monnaie courante en science des données et en IA. En effet, la complexité croissante des méthodes utilisées – notamment l’émergence de réseaux de neurones profonds – nécessite de confirmer leur efficacité et leur fiabilité théorique par des évaluations empiriques. La plupart des défis hébergés par CodaLab portent sur des applications en vision par ordinateur et en traitement du langage pour la santé, l’énergie ou encore l’écologie.

L’organisateur propose un problème scientifique en joignant ses données et invite les data scientists à contribuer à sa résolution. En pratique, les concours s’appuient sur la soumission de résultats notamment en classification d’images.

Ils peuvent aussi être centrés sur les données. C’est le cas de défis basés sur des tests par exemples contradictoires (adversarial testing). Pour des modèles de langage, l’enjeu est alors de s’assurer que les réponses des algorithmes à des requêtes sont adaptées à des enfants, assurent la sécurité des personnes, n’incitent pas à la violence, etc. Toutes les soumissions aux différents concours font ensuite l’objet d’une ouverture afin de profiter à l’ensemble de la communauté.

Un accélérateur de recherche et d’innovation

L’IA est aussi un outil puissant pour résoudre des problèmes industriels. En ce sens, CodaLab a été la première plateforme à proposer des concours en apprentissage par renforcement particulièrement appréciés par les entreprises. Dans le cadre du concours « AI for industry » en collaboration avec la région Île-de-France, cette approche a notamment permis au distributeur d’électricité français RTE de fournir un simulateur aux participants dont la mission était d’assurer le contrôle optimal d’une grille de transmission électrique.

Les conférences internationales surfent aussi sur le fort intérêt de la communauté pour les défis scientifiques. « La société savante MICCAI, la plus grande conférence internationale traitant de l’IA dans le domaine de l’imagerie biomédicale, nous a demandé d’héberger son concours, rapporte Anne-Catherine Letournel. C’est une autre façon pour nous de soutenir les innovations de demain qui émergent souvent de ces compétitions suivies avec grand intérêt par les acteurs économiques ».

Un succès en croissance perpétuelle

Depuis sa création en 2013, la plateforme poursuit une croissance soutenue. Chaque mois, une centaine de nouveaux concours sont mis en ligne et plus de 2 500 nouveaux utilisateurs rejoignent la plateforme. Elle dénombre également 1 000 soumissions quotidiennes de participants environ. Depuis 2021, le projet s’est agrandi avec CodaBench. Vouée à remplacer CodaLab, cette nouvelle plateforme organise à la fois des compétitions et des benchmarks en assurant plus de flexibilité et de sécurité.

Parmi ses ambitions, CodaBench souhaite désormais obtenir la certification des Hébergeurs de données de Santé (HDS) pour répondre aux besoins des défis médicaux en pleine effervescence. Un autre enjeu pour le projet est son passage à l’échelle. « La maintenance des serveurs et le développement de CodaLab sont assurés par quelques personnes seulement. Le risque est que nous devenions victimes de notre succès et que nous ne puissions plus répondre à toutes les demandes. C’est pourquoi nous avons besoin de soutien qui nous permettrait notamment de revoir en profondeur la technologie web à la base de CodaLab », explique Isabelle Guyon. L’enjeu est de taille, à savoir maintenir au sommet les services d’une plateforme publique française pour l’IA de demain, qui a su s’imposer dans un paysage autrement dominé par des acteurs privés du monde entier.