Expérimenter et évaluer une solution edtech : l’œuf ou la poule ?

À l’heure où elle propose aux décideurs de tester sa solution, une entreprise edtech entre de plain-pied dans une contradiction. D’un côté, ceux-ci lui demandent de prouver son impact avant de ne leur ouvrir la porte des salles de classe.

De l’autre, l’entreprise en question serait bien en peine de leur fournir des preuves d’impact si elle ne peut expérimenter sa solution en conditions réelles, c’est-à-dire auprès des élèves. Les termes du débat sont posés : comment concilier une phase d’expérimentation essentielle à un temps d’évaluation qui l’est tout autant ?

Parmi les edtechs, deux réalités existent. D’abord, celles des entreprises qui ont remporté des appels à projets, comme ceux de la Direction du numérique pour l’éducation ou de la Banque des territoires.

« Celles-ci sont accompagnées, que ce soit par un ministère, des laboratoires partenaires, etc. Pour elles, le problème d’accès aux élèves ne se pose pas, dans un premier temps », observe Grégoire Borst, directeur du laboratoire de psychologie du développement et de l’éducation de l’enfant (CNRS, Université Paris Cité).

Dans un premier temps seulement, car si la durée de leur financement couvre leur phase de bêta testing, « elle est souvent trop courte pour procéder à la suite, une évaluation fine à plus large échelle. C’est très dommage », déplore Grégoire Borst.

Course d’obstacles

Pour les edtechs qui n’ont pas été lauréates d’appel à projets ou intégrées un incubateur, mener une étude d’impact suppose de franchir une série d’obstacles.

« Le premier ne vous étonnera pas : c’est “qui paie” ? Évaluer demande un budget dédié aux laboratoires, quand les edtechs portent déjà beaucoup d’efforts sur la R&D », explique Yannig Raffenel pour sa dernière interview en tant que président d’EdTech France, où il a achevé son second mandat en octobre 2024.

Outre la longueur et le coût de la démarche, les entreprises doivent passer par la case laboratoire pour trouver un partenariat. « Cependant, un labo est un lieu pour faire de la recherche, pas pour venir tester ses produits », avertit Grégoire Borst.

Si la solution edtech recoupe de manière pertinente un sujet de recherche du laboratoire, alors cela peut fonctionner. « Sinon, il y a bien quelques chercheurs spécialistes de ce type d’évaluations, mais la plupart ne le font pas. »

Convaincre les académies et les équipes pédagogiques

Côté académies cette fois, les porteurs de projets doivent souvent passer par les directions de région académique du numérique pour l’éducation (Drane), pour espérer toucher un établissement dont la direction et les équipes pédagogiques seraient tentées par l’expérimentation.

« Ce processus n’a rien d’évident. Les Drane sont sollicitées par des dizaines de nouveaux projets chaque année. Dans le même temps, elles sont soumises à la pression constante de faire davantage avec moins de moyens », constate Yannig Raffenel.

Autre élément dans le viseur de l’écosystème edtech : le GAR, petit nom du gestionnaire d’accès aux ressources mis en place par le ministère de l’éducation nationale, en particulier pour assurer la protection des données.

« Cette plateforme contraint les entreprises edtechs à se “garifier”, à savoir respecter un cahier des charges structurel précis. Le GAR est un rouleau compresseur qui suppose d’avoir déjà une solution stabilisée pour accéder aux classes. Cette logique est parfaitement antinomique avec celle de l’expérimentation, laquelle procède par itération et améliorations successives. Paradoxe total ! », dénonce Yannig Raffenel.

L’ensemble de ces freins — auxquels il faut encore ajouter la question des données et la complexité d’obtenir la validation des comités d’éthiques — conduit à rendre le temps d’implémentation bien trop long pour de petites structures n’ayant pas la surface financière suffisante pour tenir la distance.

Comment évaluer les solutions edtechs ?

Ces freins levés, reste à savoir ce que l’on souhaite et, surtout, ce que l’on est en mesure d’évaluer.

« Dans un monde idéal, évaluer l’impact d’une edtech demanderait de prendre une multitude de paramètres en compte. En réalité, devant la complexité, le temps et les coûts engendrés, on doit faire beaucoup de compromis », explique Grégoire Borst.

Et la notion d’impact de trop souvent se restreindre à l’évolution de la performance des élèves (typiquement, les notes), quand elle pourrait embrasser un périmètre plus ambitieux : effets de l’outil sur les gestes professionnels, sur la créativité, variations d’un contexte pédagogique à l’autre, entre territoires, etc.

Parmi ces aspects, certains sont évidemment mesurables, comme le temps gagné quand un professeur utilise une intelligence artificielle générative ou lui fait corriger des copies, un taux de satisfaction ou de recommandation. D’autres ne le sont pas, comme les idées apportées par cette même IA à un enseignant qui ne les aurait pas eues sans elle.

En plus de restreindre la vision de l’impact, se concentrer sur la performance des apprenants crée une confusion. « Les edtechs peuvent participer à améliorer les résultats des élèves, mais ceux-ci sont par nature multifactoriels. Il est très difficile d’isoler la part qu’un outil a eue dans cette évolution et, dès lors, pour les edtechs de prouver leur impact », éclaire Jérôme Fabry, associé du cabinet de conseil EY-Parthenon et spécialiste des politiques éducatives.

Distinguer efficacité et efficience

L’évaluation d’une solution croise aussi deux notions à ne pas confondre : efficacité et efficience. La première pose peu de problèmes, consistant à mesurer la capacité d’un outil à remplir les objectifs fixés. La seconde est plus complexe, mais pas moins essentielle :

« L’efficience signifie obtenir des résultats en y intégrant diverses dimensions, comme les contraintes techniques, de formation, de ressources. Une solution edtech peut être extrêmement efficace. Mais si elle suppose que chaque professeur se forme plusieurs dizaines d’heures à son utilisation, est-elle efficiente ? », illustre Jérôme Fabry.

Question d’usage

Expérimenter revient à sortir d’un espace où toutes les conditions sont réunies. Ce monde idéal où l’entreprise peut observer un petit groupe d’enseignants, qu’elle accompagne individuellement dans une salle bien équipée parsemée d’enfants sages.

Paysage dont les entrepreneurs savent qu’il omet une série de (gros) détails : organisation pédagogique, matériel disponible, appétence des professeurs (non volontaires, cette fois) pour le numérique, et tant d’autres, dont chacun peut empêcher l’outil de montrer son effet.

« Pouvoirs publics et entreprises se retrouvent parfois dans une mécompréhension, qui suggère que l’équipement ne nécessite pas de formation particulière », ajoute Grégoire Borst. Malentendu notamment entretenu par le design épuré des outils et leur promesse d’une prise en main « intuitive ».

« Or, c’est faux. L’outil peut être simple à utiliser, s’il ne s’intègre pas correctement dans votre projet pédagogique ou que vous ne mettez pas la bonne formation des équipes en face, vous aboutissez à un non-sens. »

Au risque d’en détourner des enseignants, qui en auront peu perçu l’utilité. « Pendant quelques années, les espaces numériques de travail (ENT) étaient déployés, mais sous-utilisés. Par conséquent, les régions étaient tentées de se dire qu’ils n’avaient pas d’impact », se souvient Jérôme Fabry. Aujourd’hui, plus grand monde ne remettrait en cause leur rôle dans le système scolaire.

« Au-delà des résultats, une dimension clé de l’impact est donc celle de l’usage. C’est lui qui détermine si un outil répond aux besoins dans un contexte pédagogique donné, atteint ses objectifs fixés et dans quelles conditions », conclut-il.

Franchir le « dernier kilomètre »

Même une fois leurs différents impacts mesurés et évalués, reste à franchir ce que l’associé de EY-Parthenon appelle, sur le modèle de la logistique, le « dernier kilomètre ». Ultime étape pour une implémentation réussie, elle n’est pas la plus simple.

« Vous avez parfois accompli tout le processus, levé les verrous ; certaines collectivités ont même acheté votre produit. Pourtant, il arrive que le saut vers les salles de classe ne se fasse pas », observe-t-il.

Quand la collectivité a pris l’initiative, encore faut-il embarquer directions et enseignants dans ce mouvement, qu’ils sachent que l’outil existe, ce qu’il peut apporter au projet pédagogique, comment l’utiliser, qu’ils en discutent de pair à pair, etc.

Seulement alors, ils trouveront les bonnes manières de l’intégrer dans leur pédagogie. Ce qui signifie généralement : l’année prochaine. Car si on apprend quelque chose à l’école, c’est bien à ne travailler ses cours au dernier moment.