Le processus d’examen par les pairs est la pierre angulaire de l’érudition moderne. Avant que de nouveaux travaux ne soient publiés dans une revue universitaire, des experts examinent les preuves, les recherches et les arguments pour s’assurer qu’ils s’empilent.
Cependant, de nombreux auteurs, réviseurs et éditeurs ont des problèmes avec le fonctionnement du système moderne d’évaluation par les pairs. Il peut être lent, opaque et cliqueté, et il fonctionne grâce au travail bénévole d’universitaires déjà surmenés.
Le mois dernier, l’une d’entre nous (Kelly-Ann Allen) a exprimé sa frustration face aux difficultés de trouver des pairs évaluateurs sur Twitter. Des centaines de réponses plus tard, nous avons eu une énorme collection de critiques de l’examen par les pairs et des suggestions pour l’améliorer.
En tant qu’éditeur de revue, lire que les gens publient et ne participent pas à la révision est difficile à entendre. Il devient de plus en plus difficile de trouver des réviseurs, ce qui entraîne des retards importants dans les délais de publication. #AcademicChatter @AcademicChatter https://t.co/FMFeqFnsrm
– Kelly-Ann Allen, PhD #appartenir #apparteniràl’école (@drkellyallen) 6 juin 2022
Les suggestions pour les revues, les éditeurs et les universités montrent qu’il y a beaucoup à faire pour rendre l’examen par les pairs plus responsable, équitable et inclusif. Nous avons résumé ci-dessous nos conclusions complètes.
Trois défis de l’examen par les pairs
Nous voyons trois principaux défis auxquels est confronté le système d’évaluation par les pairs.
Premièrement, l’examen par les pairs peut être une forme d’exploitation.
De nombreuses entreprises qui publient des revues universitaires tirent profit des abonnements et des ventes. Cependant, les auteurs, les éditeurs et les pairs examinateurs donnent généralement leur temps et leurs efforts sur une base volontaire, effectuant effectivement un travail gratuit.
Et tandis que l’examen par les pairs est souvent considéré comme une entreprise collective de la communauté universitaire, dans la pratique, une petite fraction des chercheurs effectue la majeure partie du travail. Une étude de revues biomédicales a révélé qu’en 2015, seulement 20 % des chercheurs effectuaient jusqu’à 94 % de l’évaluation par les pairs.
L’examen par les pairs peut être une “boîte noire”
Le deuxième défi est le manque de transparence dans le processus d’examen par les pairs.
L’examen par les pairs est généralement effectué de manière anonyme : les chercheurs ne savent pas qui examine leur travail et les examinateurs ne savent pas de qui ils examinent le travail. Cela laisse de la place à l’honnêteté, mais peut également rendre le processus moins ouvert et moins responsable.
L’opacité peut également supprimer la discussion, protéger les préjugés et diminuer la qualité des critiques.
L’examen par les pairs peut être lent
Le dernier défi est la rapidité de l’examen par les pairs.
Lorsqu’un chercheur soumet un article à une revue, s’il dépasse le rejet initial, il peut faire face à une longue attente pour l’examen et la publication éventuelle. Il n’est pas rare que la recherche soit publiée un an ou plus après sa soumission.
Ce retard est mauvais pour tout le monde. Pour les décideurs, les dirigeants et le public, cela signifie qu’ils peuvent prendre des décisions fondées sur des preuves scientifiques obsolètes. Pour les universitaires, les retards peuvent bloquer leur carrière dans l’attente des publications dont ils ont besoin pour obtenir des promotions ou une titularisation.
Les chercheurs suggèrent que les retards sont généralement causés par une pénurie d’examinateurs. De nombreux universitaires signalent que des charges de travail difficiles peuvent les décourager de participer à l’examen par les pairs, et cela s’est aggravé depuis le début de la pandémie de COVID-19.
Il a également été constaté que de nombreuses revues dépendent fortement des évaluateurs américains et européens, ce qui limite la taille et la diversité du groupe d’évaluateurs.
Pouvons-nous corriger l’examen par les pairs ?
Alors qu’est ce qui peut être fait? La plupart des suggestions constructives de la grande conversation Twitter mentionnée précédemment se répartissaient en trois catégories.
Tout d’abord, beaucoup ont suggéré qu’il devrait y avoir de meilleures incitations à la réalisation d’examens par les pairs.
Cela pourrait inclure des éditeurs payant des examinateurs (les revues de l’American Economic Association le font déjà) ou donnant des bénéfices aux départements de recherche. Les revues pourraient également offrir aux examinateurs des abonnements gratuits, des bons de publication ou des examens accélérés.
Cependant, nous devrions reconnaître que les revues offrant des incitations pourraient créer de nouveaux problèmes.
Une autre suggestion est que les universités pourraient mieux reconnaître l’évaluation par les pairs comme faisant partie de la charge de travail académique, et peut-être récompenser les contributeurs exceptionnels à l’évaluation par les pairs.
Certains commentateurs de Twitter ont fait valoir que les universitaires titulaires devraient examiner un certain nombre d’articles chaque année. D’autres pensaient que davantage devrait être fait pour soutenir les revues à but non lucratif, étant donné qu’une étude récente a révélé que quelque 140 revues en Australie seulement avaient cessé de publier entre 2011 et 2021.
La plupart des répondants ont convenu que les conflits d’intérêts devraient être évités. Certaines bases de données d’experts suggérées faciliteraient la recherche d’examinateurs pertinents.
Utiliser des stratégies de recrutement par examen par les pairs plus inclusives
De nombreux répondants ont également suggéré que les revues peuvent améliorer la façon dont elles recrutent des examinateurs et le travail qu’elles distribuent. Les examinateurs experts pourraient être sélectionnés sur la base de leur expertise en matière de méthode ou de contenu, et on leur demanderait de se concentrer sur cet élément plutôt que sur les deux.
Les répondants ont également fait valoir que les revues devraient faire davantage pour adapter leurs invitations afin de cibler les experts les plus pertinents, avec un processus plus simple pour accepter ou rejeter l’offre.
D’autres ont estimé que davantage d’universitaires non titulaires, de chercheurs doctorants, de personnes travaillant dans des industries connexes et d’experts à la retraite devraient être recrutés. Plus de formation à l’évaluation par les pairs pour les étudiants diplômés et une représentation accrue des femmes et des minorités sous-représentées seraient un bon début.
Repenser l’examen par les pairs en double aveugle
Certains répondants ont souligné un mouvement croissant vers des processus d’examen par les pairs plus ouverts, ce qui peut créer une approche plus humaine et transparente de l’examen. Par exemple, la Royal Society Open Science publie toutes les décisions, les lettres d’examen et l’identification volontaire des pairs examinateurs.
Une autre suggestion visant à accélérer le processus de publication consistait à accorder une plus grande priorité aux recherches urgentes.
Ce qui peut être fait?
Le message global de l’énorme réponse à un seul tweet est qu’il y a un besoin de changements systémiques dans le processus d’examen par les pairs.
Les idées ne manquent pas pour améliorer le processus au profit des universitaires et du grand public. Cependant, il appartiendra aux revues, aux éditeurs et aux universités de les mettre en pratique et de créer un système plus responsable, équitable et inclusif.
Les auteurs tiennent à remercier Emily Rainsford, David V. Smith et Yumin Lu pour leur contribution à l’article original Vers l’amélioration de l’examen par les pairs : informations participatives de Twitter.
Kelly-Ann Allen, professeure agrégée, École de psychologie et d’orientation pédagogiques, Faculté d’éducation, Université Monash ; Jonathan Reardon, , Université de Durham; Joseph Crawford, maître de conférences, Innovation éducative, Université de Tasmanie, et Lucas Walsh, professeur et directeur du Centre pour la politique de la jeunesse et la pratique de l’éducation, Université Monash.
Cet article est republié de The Conversation sous une licence Creative Commons. Lire l’article d’origine.
