Alors qu’arrive la vague C d’évaluation des établissements et de leur recherche par le Hcérès, et que les indicateurs d’évaluation de la recherche évoluent, la question de l’équilibre entre approche qualitative et quantitative est prégnante. C’est pourquoi Campus Matin et son partenaire Elsevier, spécialisé dans la publication de revues scientifiques, mais aussi dans la donnée scientifique, ont organisé le 29 juin dernier un webinaire intitulé « Évaluation de la recherche : Pour un usage responsable des indicateurs ». Synthèse.
Sur plusieurs points, la recherche évolue au niveau international. Alors que pendant longtemps, il s’agissait de produire le plus de publications scientifiques possible, l'impact sociétal et économique de la science est désormais une donnée à prendre en compte.
La communauté scientifique évolue également dans le sens du partage de données : des plans d’envergure en faveur de la science ouverte fleurissent, notamment au niveau européen.
« L’évaluation de la recherche aujourd’hui peut apparaitre quelque peu en retard sur les grandes questions qui animent aujourd’hui la recherche », rapporte William Berthomière, conseiller scientifique coordonnateur pour les sciences humaines et sociales au département d’évaluation de la recherche du Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (Hcéres).
C’est pourquoi le Hcéres, qui évalue les établissements et leurs organismes de recherche, travaille à faire évoluer les indicateurs qui doivent prendre en compte les nouveaux enjeux de la recherche :
« l’intégrité scientifique, prioritairement (sur le thème de l’autoplagiat, par exemple)
la science ouverte
le développement durable », énumère William Berthomière.
Répondre « aux attentes des différents interlocuteurs »
« Le Hcéres produit une évaluation qui va mobiliser un ensemble d’indicateurs qui répondent aux attentes des différents interlocuteurs, rappelle William Berthomière. Il ne décide pas, mais peut choisir de faire évoluer sa démarche d’évaluation vers des enjeux : arriver à promouvoir des échanges multivariés, trouver de nouveaux indicateurs, etc. »
Les objectifs ?
Répondre et apporter une aide aux personnels des unités de recherche, qui attendent de leurs pairs un diagnostic sur leur activité ;
Mieux définir un dispositif d’évaluation qui tienne compte de l’environnement de recherche, qui place l’évaluation de la recherche dans le cadre des profils d’activité des unités.
Pour cela, « le Hcéres s’inspire des différents dispositifs d’évaluation à l’échelle européenne, comme le Ref au Royaume-Uni », précise celui qui est aussi directeur de recherche CNRS, spécialiste des migrations internationales.
Selon M’hamed el Aisati, vice-president Research Analytics et Data Services chez Elsevier, l’évaluation ne doit pas être que quantitative mais aussi qualitative et reposer sur une diversité d’indicateurs. L’entreprise, éditeur historique, devient un fournisseur d’outils d’aide à la décision pour évaluer la recherche et son impact.
Concrètement, le processus d’évaluation à l’Inserm
Au sein de l’Institut national de la santé et de la recherche médicale (Inserm), l’évaluation est portée par des commissions scientifiques spécialisées, pour moitié élues, pour moitié nommées. L’organisme évalue d’une part, la qualité des chercheurs pour la prime d’excellence et de l’autre, le recrutement des jeunes chercheurs.
Elle approuve par ailleurs la création de structures qui doivent remplir un certain nombre de prérequis, notamment une taille minimale. « Il faut que la structure soit suffisamment solide pour être compétitive », explique Armelle Régnault, directrice du département d’évaluation et de suivi des programmes de l’Inserm.
Sont prises en compte, « les réalisations et leurs valorisations cliniques, économiques et sociétales (brevets licenciés, sous-traitance). Le projet et le positionnement de l’équipe localement, nationalement et internationalement entrent par ailleurs en ligne de compte », énumère Armelle Régnault.
Trouver l’équilibre entre une évaluation « humanocentrée » et « datacentrée »
« Selon les domaines, il y a des commissions d’évaluation qui regardent le fond des papiers et d’autres qui se basent plus sur les indicateurs », explique Armelle Régnault.
Toute la difficulté réside donc dans l’analyse d’indicateurs - comme la co-occurence de mots-cités qui donne une idée de la diversité de thèmes étudiés - sans oublier d’autres facteurs comme, chez les jeunes recrues, la capacité à s’investir dans l’enseignement.
Pour les promotions, « on ne va pas demander les mêmes éléments selon le profil (s’il s’agit de devenir directeur de recherche ou d’une fin de carrière), la question se pose alors : est-il nécessaire de produire des indicateurs ou de s’assurer que les commissions soient formées correctement ? ».
À l’Inserm, sur la question de la parité, « tous les membres de commissions seront formés aux biais inconscients. Il y a en outre vigies dans les comités qui vérifient le nombre d’homme et femmes dans toutes les étapes de l’évaluation ».
Par ailleurs, pour répondre aux enjeux d’open science, les preprint sont pris en compte dans les évaluations et, la réflexion est ouverte pour une meilleure prise en compte des projets de science participative.
Simon Thorpe, directeur de recherche au CNRS et ex-directeur du centre de recherche « Cerveau et cognition », a été évalué et évaluateur. Il milite pour de meilleurs outils.
« J’ai fait deux vagues d’évaluation, pour le Hcérès. Il fallait remplir une centaine de rubriques différentes. C’est énormément de boulot, cela m’a pris quatre mois pour établir l’annexe 4 [sur les contributions, NDLR] ! On peut faire plus simple. »
Il explique utiliser les outils d'Elsevier qui rendent plus simple le processus pour générer toutes les informations de base :
Scopus, qui permet de trouver avec le nom des chercheurs, les indicateurs pour chaque personne : « à quelques rares exceptions, on trouve ce qui a été produit par n’importe qui, relativement facilement », témoigne le directeur de recherche.
SciVal, qui permet de savoir si le labo travaille dans les meilleurs percentiles : « En 45 min, j’ai pu sortir les données sur tout un labo et cela fonctionne aussi pour les disciplines où les participations aux conférences doivent être prises en compte ».
Simon Thorpe demande donc au Hcérès : « S’il vous plait, épargnez-nous, directeurs de labo évaluateurs, et fournissez-nous uniquement les données de base. Ne nous demandez pas de lire 200 pages d’annexe ! ».
