Preuve scientifique ou mot-valise, comment définir l'« impact » des solutions edtechs ?

Mesurer et progresser pour Marie-Christine Levet

Sans surprise, la notion d’impact est centrale pour Educapital, premier fonds d’investissement edtech à impact d’Europe. « 50 % de notre performance est liée à des indicateurs d’impact. Le sujet est absolument central pour nous. Mais il n’a de sens que si nous pouvons le mesurer », pose Marie-Christine Levet, cofondatrice et présidente du fonds.

Pour ce faire, Educapital a conçu sa méthodologie autour de trois indicateurs. « Il y a d’abord le reach, ou combien de personnes suis-je en mesure de toucher ? », énonce-t-elle. Vient ensuite la dimension inclusive de la solution, à l’aune de sa capacité à intégrer des populations fragiles, que ce soit pour des raisons sociales, géographiques, de handicap ou d’éloignement du marché de l’emploi.

Le troisième pilier de la méthodologie se penche sur le learning outcome, à savoir l’efficacité de l’outil. « En formation continue, vous pouvez en obtenir des mesures chiffrées via des enquêtes de satisfaction, un taux de retour à l’emploi, etc. À l’université, vous pouvez observer le nombre d’étudiants qui vont au bout d’une formation, par exemple. Mais plus vous descendez en âge, plus la mesure est complexe. Elle exige des méthodes différentes, des études sur différentes cohortes d’élèves et un temps plus long », détaille Marie-Christine Levet.

Un impact à mesurer sur la durée

Si, selon elle « devoir prouver son impact aux décideurs est légitime et essentiel », un écueil à éviter serait d’avoir des exigences démesurées à l’égard des edtechs. « À ma connaissance, on n’a jamais mesuré l’impact des livres scolaires ! Il faut parvenir à évaluer les nouveaux outils, sans leur imposer des contraintes impossibles au prétexte qu’ils sont numériques », tempère-t-elle.

La mesure de l’impact doit, qui plus est, se concevoir sur la durée, à travers des indicateurs permettant de montrer une trajectoire au fil des ans. Elle doit aussi s’élargir pour englober l’ensemble des effets apportés par l’utilisation d’un outil.

« Nous sommes à l’aube de nouvelles méthodes pour évaluer l’apport des edtechs de manière plus large, à travers des dimensions comme le gain social, le temps dégagé par les enseignants, la capacité d’un outil à lutter contre le décrochage scolaire et ses effets… Un vaste champ reste à explorer. »

L’impact à la racine pour Vincent Gunther

Le questionnement autour de la notion d’impact ne s’est pas présenté dès le début aux fondateurs de Bookinou, société edtech créée en 2018.

« Lorsque nous avons imaginé cette machine à lire des livres, notre idée était en fait très spontanée : mettre un livre entre les mains des enfants », se souvient Vincent Gunther, son CEO.

L’impact du projet paraît, du reste, assez évident, les sciences sociales montrant de longue date les effets bénéfiques d’un contact avec le livre dès le plus jeune âge pour développer ses compétences langagières. Et l’importance déterminante de celles-ci pour la suite du parcours scolaire. Il faut néanmoins fournir des éléments mesurables aux pouvoirs publics !

« Il est absolument normal que les écoles demandent des garanties. Elles ne peuvent se contenter des belles paroles de ceux qui vendent des solutions. Surtout que face à une échelle d’impact, elles doivent mettre une échelle de budget », approuve Vincent Gunther.

Une enquête complétée par des observations en classe

Pour des élèves le plus souvent en maternelle, mesurer est un challenge. Avec l’aide de l’accélérateur Passerelles proposé par MakeSense et la Banque des territoires, Bookinou a pu bénéficier de l’accompagnement d’un consultant spécialisé pour mettre en place une méthodologie. Celle-ci passait par une enquête auprès de 300 enseignants.

« Leurs réponses sont très instructives, mais par définition, déclaratives. Cela comporte des biais, comme la présence de détracteurs par principe du numérique, ou à l’inverse de super ambassadeurs. »

Sur le plan quantitatif, Vincent Gunther a pu se réjouir que les enfants passent plus de temps sur un livre lorsqu’un Bookinou est présent en classe (d’après 87 % des enseignants), de cinq à dix minutes en moyenne par jour (l’équivalent d’un livre supplémentaire pour les ouvrages dédiés à ces âges).

« Nous sommes contents, mais comment aller plus loin ? », s’interroge maintenant le CEO. Bookinou prépare une autre évaluation à partir d’observations in situ dans une vingtaine de classes (cinq classes témoins et 15 classes tests), permettant d’écarter les biais du déclaratif, mais au prix du temps et de l’énergie que l’on imagine. Selon le CEO, cependant, le jeu en vaut la chandelle.

L’usage comme boussole pour Patrice Lamothe

Mal posée, la question de l’impact peut conduire à une forme de naïveté. Si elle se concentre uniquement sur la performance des élèves, par exemple.

« Les sciences sociales le savent, comme les inspecteurs académiques : mesurer l’impact à l’aune de la seule performance a peu de sens. Parfois, un professeur génial change la vie de ses élèves, sans pour autant qu’ils obtiennent de meilleures notes que les autres au bac », illustre Patrice Lamothe, directeur général de Pearltrees.

Avec Pearltrees Education, sa plateforme collaborative d’organisation des ressources pédagogiques, la edtech est présente dans les lycées d’Île-de-France, d’Occitanie, d’Auvergne-Rhône-Alpes ainsi que dans de nombreux collèges français. Dès lors, quelle preuve d’impact fournir ?

« On peut disserter à loisir sur cette notion, en étayant son propos par une multitude d’études qui, de plus, se contredisent. Ou on peut faire confiance aux professeurs. Le premier niveau de preuve d’un outil est : est-ce que les enseignants l’utilisent, et combien de temps ils l’utilisent », répond Patrice Lamothe.

Pour lui, « personne ne sait mieux qu’un professionnel ce dont il a besoin, dans le contexte pédagogique qui est le sien et ne sera jamais identique d’un établissement à l’autre. » Comme c’est d’ailleurs le cas pour toute politique publique, « par nature issue de réflexions composites, qui apportera beaucoup à certains, moins à d’autres ».

Questionner l’usage réel des enseignants

Côté enseignant, l’impact d’un outil peut se poser de deux manières. « Est-ce que le professeur l’utilise pour gagner du temps ? Ou, seconde option, est-ce qu’il l’utilise pour faire des choses qu’il ne pouvait pas faire avant d’en disposer ? »

Ainsi recentrée sur l’usage réel, la définition de l’impact gagne en clarté et en pragmatisme. Et il n’y a plus qu’à analyser les données d’utilisation, les taux d’activité ou encore le temps passé sur une technologie, pour savoir si, vraiment, celle-ci a apporté sa pierre à leur projet.