Compilatio : « Un usage de ChatGPT très surévalué par les enseignants »

Publiée le 7 novembre dernier, l’étude « IA dans l’enseignement » a été réalisée du 21 juin au 15 août 2023 auprès de 1242 enseignants et 4443 étudiants. Benoit Arpin, chargé du suivi client de Compilatio, revient sur les grandes leçons de l’enquête, les outils proposés pour détecter l’IA générative ainsi que la façon dont ces technologies doivent être appréhendées.

Que retenir de l’enquête ?

Benoit Arpin : Elle montre que plus d’un étudiant sur deux (55 %) a utilisé une intelligence artificielle (IA) générative, au moins occasionnellement. Un chiffre important qui montre que les étudiants s’emparent très rapidement des nouvelles technologiques. 

Un usage de ChatGPT très surévalué par les enseignants

Cet usage est très surévalué par les enseignants, qui pensent à 88 % que les étudiants ont recours à une IA générative pour leurs travaux. Cette impression que tous les étudiants vont utiliser ChatGPT crée un climat anxiogène pour les enseignants comme pour les étudiants qui, en partie, redoutent d’être accusés d’avoir utilisé cet outil alors que ce n’est pas le cas. 

Le recours à l’IA est assimilé à de la triche. Comment l’expliquer ?

Enseignants et étudiants s’accordent sur le fait qu’utiliser l’IA générative dans le cadre de la réalisation de devoir ou d’un examen, c’est tricher (à respectivement 76 % et 65 %). Cette technologie permet, selon les répondants, d’aller plus vite et d’avoir de meilleures notes.  

Dans un contexte où aucune règle commune n’a été définie sur l’usage de ChatGPT, certains se sont engouffrés dans la brèche et ont pu avoir un usage assimilé à de la triche. Il est d’ailleurs important de lire les résultats de l’enquête à la lumière de cette temporalité particulière. 

Concernant la triche, l’IA ne concerne pas tout le monde de la même façon, certaines disciplines sont plus touchées que d’autres.  

Quelles sont les attentes des étudiants et enseignants ?

93 % des enseignants et 79 % des étudiants estiment qu’il faut mettre en place des mesures pour réglementer l’utilisation de l’IA générative de texte dans l’enseignement. Des initiatives individuelles sont déjà mises en place, mais il n’y a pas de consensus. Les enseignants aspirent à une réglementation pour savoir sur quoi s’appuyer et quelle décision prendre en cas d’usage de l’IA.  

Par ailleurs, seulement un enseignant sur dix ne connaît pas l’IA générative, ce qui est tout de même beaucoup si on pense à la couverture médiatique sur ChatGPT depuis un an. 

Quels outils pour détecter l’IA générative ? 

Nous proposons deux solutions de détection de l’utilisation de l’IA pour générer du texte : Compilatio Magister+ et Studium. À destination des étudiants, Studium est ouvert aux particuliers et fonctionne sur le système d’achat de crédits. Il permet de s’autoévaluer sans avoir recours à la détection d’IA, ce qui pourrait inciter à la fraude en usant de la reformulation.  

Cet outil est souvent proposé par les établissements qui offrent un parrainage afin que chacun puisse tester un ou deux devoirs. Cela permet aux étudiants d’avoir une prise de recul sur leur production et de voir s’ils respectent les règles de citation. 

Comment fonctionne la détection de l’IA ?

Pour les établissements du supérieur et du secondaire, Compilatio Magister+ est en place depuis septembre 2023. Il fait suite au proof of concept que nous avions sorti en début d’année, qui détectait l’usage de l’IA générative. Compilatio Magister+ repose sur un algorithme beaucoup plus détaillé et précis qui délivre un pourcentage d’utilisation de l’IA et de similarité.  

Un chiffre qui doit ensuite être interprété par les enseignants. Nous formons les coordinateurs pédagogiques des établissements abonnés sur la prise de recul nécessaire.

Sur plus de 900 établissements dans le monde qui utilisent Compilatio (outil de détection du plagiat), une centaine ont souscrit à Magister+. En France, nous comptons des universités, notamment celles d’Aix Marseille, de Jean Moulin Lyon 3 et de Sorbonne Paris Nord, et des écoles d’ingénieurs ou encore d’infirmières. 

Pour cet outil, nous gardons en tête que si OpenAI change son modèle, notre système de détection devra s’adapter lui aussi. C’est pourquoi nous travaillons sur un développement à l’inverse : plutôt que de savoir repérer l’IA, savoir détecter l’écriture originale. 

Quelle philosophie derrière l’usage de tels outils ?

Les technologies avancent et peuvent faire peur, cela a été le cas avec l’arrivée de la calculatrice programmable puis des moteurs de recherche. Pendant un an, les établissements ont dû s’adapter dans l’urgence à l’arrivée de l’IA générative et ont opté pour des devoirs sur table ou un changement d’approche dans la construction des évaluations. 

Avoir une réflexion sur l’apprentissage de l’IA et la formation d’étudiants intègres.

S’il est rassurant de pouvoir s’appuyer d’un outil d’aide à la détection du plagiat, il faut accompagner son usage. Ce dernier permet de faire de la dissuasion, pour autant, il ne faut pas s’appuyer uniquement là-dessus, mais avoir une réflexion sur la façon dont il va être utilisé, sur l’apprentissage de l’IA et la formation d’étudiants intègres dans leurs pratiques. 

Le pourcentage de similitude et d’utilisation de l’IA restent des indicateurs : l’enseignant garde son expertise et doit déterminer le résultat qui est tolérable ou non. Si nous assurons une fiabilité du résultat autour des 90 %, il reste 10 % de possibilité d’un faux positif.  

Certaines écoles ont fixé des seuils de tolérance de 10 % de similarité maximum. Sauf que 10 % cela ne veut pas dire la même chose sur un devoir court que sur un très long. De même, si un élève travaille sur un ouvrage qu’il doit beaucoup citer, le taux de similitude peut dépasser les 10 % alors que les citations sont correctement faites. A contrario, un élève avec 8 % de similarités peut avoir fait beaucoup appel à du plagiat.  

À quelle fréquence faut-il vérifier l’usage de l’IA dans les copies ?

L’enseignant est un passeur d’intégrité, c’est pourquoi nous conseillons une vérification régulière des devoirs. Lorsqu’on croise régulièrement un radar : on fait plus attention. Alors que si c’est plus occasionnel, soit ça passe soit ça casse. 

De même, il faut faire attention à la notion de preuve. Avec l’IA générative, il est plus difficile de prouver son usage. C’est à l’enseignant de décider s’il valide une compétence ou non. Nous avons eu des retours d’établissements qui avaient un peu trop misé sur l’outil. Après cela, c’était recours sur recours : l’étudiant se défend que l’outil ne dit pas la vérité et l’usage de ChatGPT reste plus compliqué à démontrer que le recours à un simple copié-collé.

Les établissements communiquent peu sur les résultats de plagiat. Même si des écoles d’ingénieurs ont observé une baisse du taux de similarité, le besoin de vérification ne s’arrêtera jamais.