AdobeStock
Avant la publication d'un rapport comprenant de nouveaux résultats de recherche, il est d'habitude évalué par d'autres experts.
Lorsque les scientifiques font des découvertes, ils les partagent avec la communauté de chercheurs, mais aussi avec d’autres personnes partout dans le monde. En effet, la communication de résultats constitue un volet essentiel de la méthode scientifique. Ce n’est que de cette manière que la science peut connaître un processus continu de développement des connaissances.
Le nombre de publications scientifiques présentant ce type de résultats ne cesse de croître. Tous les jours, une panoplie de nouveaux rapports paraissent dans des manuels et des ouvrages, sous la forme de contributions à des colloques, de recueils ou d'articles dans l’une des nombreuses revues spécialisées dans lesquelles les éditeurs du monde entier rendent publics les résultats de recherches actuels. En outre, il existe des prépublications (preprints, en anglais) sur des plateformes électroniques telles que medRxiv.org. Ce sont des manuscrits contenant des résultats de recherche qui n’ont pas encore été revus par d’autres scientifiques, c’est-à-dire qu'ils n’ont pas encore fait l’objet d’un processus d'examen par les pairs.
Traduit littéralement, le terme anglais « peer review » signifie « examen par les pairs ». Ce processus intervient généralement avant la publication d’un rapport comprenant de nouveaux résultats de recherche, par exemple dans une revue spécialisée reconnue. Les pairs qui évaluent les publications peuvent, le cas échéant, signaler les travaux au contenu douteux qui présentent des lacunes méthodologiques ou qui sont incompréhensibles ou peu pertinents parce qu’ils n’apportent pas de nouvelles connaissances. Ils aident ainsi les éditeurs à décider quels résultats doivent être publiés ou quelles données ou informations supplémentaires sont nécessaires pour une publication.
Garder une vue d’ensemble de cette panoplie de nouvelles études, de données expérimentales et de thèses scientifiques relève du défi, même pour les experts. C’est particulièrement vrai pendant cette pandémie de Covid-19, où les experts reçoivent en permanence de nouvelles informations sur le SARS-CoV-2, la Covid-19 et la vaccination. En raison de l’urgence et du caractère actuel de la situation, nombre d’entre elles sont rendues publiques avant d’avoir pu être complétées, expliquées ou soumises à un examen critique par la communauté scientifique.
Comment les journalistes peuvent-ils faire face à cette situation ? Comment peuvent-ils juger de la qualité et la fiabilité d’un travail scientifique ?
Les résultats de recherche publiés après un processus d’examen par les pairs sont généralement considérés comme de nouvelles connaissances confirmées. Mais ce système a aussi ses faiblesses. La qualité et la portée des différentes revues spécialisées peuvent varier grandement. Les pairs qui examinent les travaux peuvent être partiaux et toutes les erreurs ne sont pas toujours détectées. En outre, le processus d'examen par les pairs peut prendre beaucoup de temps. Et même après que les résultats ont été jugés corrects et publiés, l’évaluation de la recherche continue. Les autres scientifiques peuvent formuler des critiques ou essayer de s'appuyer sur les résultats. Le travail scientifique est un processus continu et les nouvelles connaissances sont complétées en permanence – et parfois réfutées.
Nous nous sommes entretenus avec Paul Wilmes, professeur et responsable d’un groupe de recherche à l’Université du Luxembourg, et avec Marc Schiltz, secrétaire général du Fonds National de la Recherche (FNR) du Luxembourg, au sujet du processus d'examen par les pairs. Tout d’abord, ils donnent quelques conseils pratiques sur la manière dont un non-initié peut interpréter correctement les articles scientifiques.
À gauche: Paul Wilmes (© Emily Iversen/FNR); à droite: Marc Schiltz (© Olivier Minaire/FNR).
Comment un non-spécialiste peut-il juger de la qualité d’un travail scientifique ?
Pour Paul Wilmes, un aspect est primordial : « Pour pouvoir utiliser les résultats d’un article, celui-ci doit avoir fait l’objet d’un examen par les pairs avant la publication », explique le Luxembourgeois, qui dirige depuis 2011 le groupe de recherche Systems Ecology au Luxembourg Centre for Systems Biomedicine (LCSB).
Et le travail doit idéalement avoir été publié dans une revue jouissant d’une grande renommée dans les milieux spécialisés « Nous, les scientifiques, savons quelles sont les revues qui se démarquent par leur qualité », explique M. Wilmes. Il est donc intéressant pour les journalistes d’interroger les chercheurs – « aussi pour obtenir des opinions indépendantes sur l’étude en question ».
Infobox
Il existe beaucoup de revues scientifiques différentes. Les revues qui jouissent d’une grande renommée sont généralement multidisciplinaires, c’est-à-dire qu’elles publient des découvertes importantes relevant de domaines très divers. Les deux revues à spectre large les plus connues sont Nature et Science. Il existe en outre des revues spécialisées spécifiques à chaque discipline (par exemple, la physique ou la médecine), qui peuvent être plus ou moins sélectives et reconnues. Et il y a des revues spécialisées moins connues qui ne publient que des articles portant sur des domaines très spécifiques (par exemple, le Journal of Social and Clinical Psychology) ou qui ne sont pas très sélectives. Pour qu’un article scientifique soit publié dans une revue de premier plan, il doit être hautement compétitif, c’est-à-dire qu’il doit présenter un travail d’excellente qualité, être très pertinent et avoir une portée potentielle élevée. Les revues moins connues, quant à elles, peuvent avoir plus de mal à remplir leurs pages et peuvent donc être moins sélectives.
Une autre caractéristique importante, selon M. Wilmes, est le nombre de fois que l’article a été cité par d’autres chercheurs – mais aussi la MANIÈRE dont il est habituellement cité : « A-t-on fait de nouvelles découvertes – et d’autres publications s’en sont-elles ensuivies ? Ou le travail a-t-il donné lieu à des discussions litigieuses ? » Tout cela fait une grande différence, souligne le chercheur du LCSB : « Un article souvent cité n’est pas nécessairement un article de qualité. » Ici aussi, une conversation avec des scientifiques peut donner des éclaircissements.
Marc Schiltz recommande en outre de contacter directement le groupe de recherche à l’origine de la publication : « Si ce sont des scientifiques sérieux, il est possible de discuter avec eux. » Pendant de nombreuses années, le physicien a dirigé un groupe de recherche en sa qualité de professeur à l'École Polytechnique Fédérale de Lausanne. Le secrétaire général du FNR recommande aux journalistes qui se réfèrent à des prépublications qui n’ont pas encore fait l’objet d’un examen des pairs de mentionner au moins ce détail important.
« Le processus d’examen par les pairs est très important », confirme Marc Schiltz. « Il est considéré comme l’étalon-or de la qualité des publications scientifiques. » « Les enquêtes menées auprès des scientifiques le prouvent également. Dans le cadre d’une enquête réalisée par le Publishing Research Consortium, un consortium d’associations des médias et d'éditeurs, 82 % des chercheurs interrogés ont approuvé cette déclaration : « Sans examen par les pairs, il n’y aurait pas de contrôle dans la communication scientifique. »
C’est notamment en raison de cette large approbation au sein de la communauté de chercheurs que la méthode est largement utilisée. « La proportion de revues qui ont recours à l’examen par les pairs est très élevée », souligne M. Schiltz, qui est lui-même coéditeur d'une revue spécialisée. En particulier pour les revues de renom aux exigences élevées, ce processus est le moyen de choix pour assurer la qualité. Il est également utilisé dans d’autres domaines, par exemple pour évaluer le travail de groupes ou d’institutions de recherche ou pour décider quels projets de recherche soutenir financièrement et dans quel cadre. Mais comment fonctionne exactement l’examen par les pairs ? Nous l’illustrons à l’aide de publications dans des revues spécialisées portant par exemple sur de nouvelles connaissances expérimentales relevant des sciences naturelles. Mais fondamentalement, le processus est le même dans d'autres disciplines et pour d'autres publications soumises à un examen par les pairs.
Comment se déroule un processus d’examen par les pairs ?
Après avoir choisi une revue spécialisée qui leur semble appropriée, les auteurs d’un travail scientifique soumettent généralement leur manuscrit en ligne. « Ensuite, le premier obstacle à franchir est le bureau de l’éditeur ou du rédacteur en chef de la revue », explique Paul Wilmes. On vérifié tout d'abord si l’article proposé semble formellement adapté à une publication, par exemple, pour ce qui est de son contenu et son style. Si cette première analyse s’avère positive, « il faut convaincre l’éditeur de la revue que l’article est solide et fiable et qu’il présente des résultats nouveaux et importants. » Pour ce faire, l’équipe éditoriale fait appel à des experts disposant de suffisamment de connaissances pour pouvoir évaluer une étude de manière fiable et demande à un ou plusieurs chercheurs de procéder à une évaluation : l’examen par les pairs commence, pour lequel des consignes différentes peuvent s'appliquer en fonction de la revue.
Abb: Comment le processus de l'évaluation par des pairs fait partie du processus de recherche (© AdobeStock)
En principe, il s’agit toutefois toujours d’évaluer si les méthodes utilisées semblent cohérentes et sont correctement décrites, si l’évaluation des données est compréhensible et si les thèses développées à partir de là semblent plausibles. Chaque réviseur donne son avis, et formule une recommandation quant à savoir si l’article soumis peut être publié sous sa forme actuelle ou s'il doit être abrégé, complété, révisé ou rejeté. « Dans le cadre de l’examen par les pairs, l’auteur du manuscrit doit être disposé à divulguer ses travaux, afin que d’autres scientifiques puissent vérifier s’ils arrivent aux mêmes conclusions ou à des conclusions similaires », déclare M. Schiltz, secrétaire général du FNR.
Et il faut être prêt, le cas échéant, à accepter les commentaires et les suggestions d’amélioration pour le travail soumis et à y donner suite. L’éditeur les transmet à l’auteur, à qui il demande de donner son avis ou de réviser l'article en conséquence. En tant qu’auteur, vous avez ici la possibilité de réfuter les critiques des réviseurs avec des arguments solides, explique Paul Wilmes, scientifique au LCSB : « par le biais d’une discussion reposant sur les faits et étayée par des arguments et des données. » M. Wilmes a ainsi contribué à la publication d’une centaine de contributions en tant qu’auteur ou coauteur. « Dans ce contexte, je n’ai jamais eu le sentiment que les réviseurs étaient injustes, même si certaines objections étaient difficiles à comprendre. »
Qui peut être réviseur ?
« Les pairs chargés d’examiner des publications doivent être des experts capables d’évaluer correctement un article soumis », souligne Paul Wilmes, qui procède aussi régulièrement à ce type d’examens. « Pour garantir une qualité élevée, il est important qu’ils ne se contentent pas d’approuver à l’aveugle le manuscrit. »
En général, les réviseurs sont des chercheurs qui travaillent dans le même domaine que les auteurs du manuscrit soumis, mais qui n'appartiennent pas au même groupe de travail. Car l’élément décisif, c’est leur indépendance. En effet, ils ne doivent pas être influencés par leurs propres intérêts ou leurs relations personnelles lorsqu’ils examinent le travail. C’est pourquoi l'examen par les pairs est généralement anonyme. La plupart du temps, les auteurs et les réviseurs ignorent qui sont les autres parties prenantes. (voir l’infobox ci-dessous « Les différents types d’examens par les pairs »).
Combien de temps le processus dure-t-il ?
« La patience est le maître-mot de l’examen par les pairs », déclare le chercheur au LCSB Paul Wilmes. Car les discussions dans le cadre de ce processus peuvent prendre beaucoup de temps – et les évaluations des différents réviseurs peuvent varier considérablement les unes des autres. Il arrive donc que le manuscrit fasse l’objet de plusieurs allers-retours entre les auteurs, la revue et les réviseurs avant de recevoir enfin le feu vert ou d'être rejeté. « Dans le cas d’un manuscrit que nous avons soumis pour publication dans la revue spécialisée Nature Communications, il y a eu quatre tours impliquant un total de six réviseurs », rapporte Paul Wilmes. Le travail n'a été publié qu'après plus d'un an. « À deux reprises, nous avons même dû procéder à des mesures supplémentaires pour un manuscrit soumis et, entre autres, préparer de nouveaux échantillons », signale-t-il.
Foto: Paul Wilmes dans son laboratoire à l'Université du Luxembourg.
Pour la plupart des revues, une période de plusieurs mois s’écoule généralement avant la sortie d’une publication. Et c’est précisément l’une des faiblesses que les détracteurs du processus classique d’examen par les pairs mettent en avant.
Car la science prend du temps. Mais pour de nombreux sujets de recherche importants ou brûlants, il est important de progresser le plus rapidement possible, par exemple, lorsque la santé ou la vie humaine est en cause. La pandémie de Covid-19, qui s’est propagée dans le monde entier à partir du début de l’année 2020, en est un bon exemple. De nombreux chercheurs du monde entier ont travaillé d’arrache-pied pour examiner le nouvel agent pathogène, étudier les symptômes et mettre au point des traitements, des médicaments et des vaccins. Pour ce faire, ils devaient avoir accès aux nouveaux résultats des autres équipes le plus rapidement possible. Les scientifiques n’avaient pas le temps d’attendre la fin d’un processus d’examen par les pairs de longue haleine.
Comment rendre les nouvelles découvertes publiques plus rapidement ?
Une accélération du processus peut donc parfois s’avérer nécessaire. Nombre de revues spécialisées ont prouvé que c’était possible pendant la pandémie de Covid-19, déclare Paul Wilmes : « Elles ont misé sur l’accélération significative de l’évaluation des travaux de recherche en rapport avec le coronavirus. » Dans le même temps, la pandémie a donné de nouvelles impulsions à un concept déjà pratiqué depuis une vingtaine d’années : la publication anticipée des résultats de recherche par l’intermédiaire de ce qu’on appelle les « prépublications ». « Il s’agit de manuscrits qui n’ont pas encore fait l’objet d’un examen par les pairs », explique Marc Schiltz, secrétaire général du FNR. Ils sont rendus publics par les auteurs de l’étude sur des sites Web de revues spécialisées, par exemple, ou dans des forums spéciaux – et toutes les parties intéressées peuvent généralement les consulter. « De cette façon, des résultats importants sont disponibles rapidement », souligne M. Schiltz. Un examen par des pairs désignés par l’éditeur a généralement lieu après la prépublication. C’est pourquoi les experts parlent également d’« examen par les pairs post-publication ».
Il est important de noter que le processus d’examen ultérieur peut bel et bien entraîner des modifications de l’article, « voire le retrait d’articles publiés à titre préliminaire » précise M. Schiltz. « Les scientifiques en ont conscience et savent donc que les prépublications doivent en principe être considérées avec prudence », souligne le secrétaire général du FNR. « Pour les non-spécialistes, cependant, il peut s’avérer difficile de bien saisir le concept (voir infobox « Le chercheur et le Bild Zeitung »).
Cela est d’autant plus vrai que la parution d’une prépublication ouvre également la voie à des discussions au sein de la communauté de scientifiques. Les pairs peuvent commenter ou critiquer librement le travail et les résultats – et le font parfois en dehors du forum de publication correspondant, par exemple dans des médias sociaux tels que Facebook et Twitter. Cela peut donner de nouvelles idées précieuses aux auteurs de l’étude avant même l’évaluation officielle.
Infobox
Un différend survenu au printemps 2020 entre le virologue Christian Drosten de l’Hôpital universitaire de la Charité de Berlin et l'équipe éditoriale du Bild Zeitung montre que la parution de prépublications ouvre la voie à des malentendus et des interprétations erronées. M. Drosten et son équipe avaient diffusé en ligne les résultats d’une étude sur la charge virale du coronavirus chez les enfants et les adolescents, sous la forme d’une prépublication n’ayant pas encore fait l’objet d’un examen par les pairs. Les chercheurs y signalaient que la charge virale chez les enfants était aussi élevée que chez les adultes et que les enfants présentaient la même contagiosité. Ces affirmations ont pu avoir un impact sur les décisions politiques concernant la réouverture des écoles après le premier confinement en Allemagne. Comme il est de mise et souhaité avec les prépublications, une discussion controversée a eu lieu entre d’autres chercheurs, dont certains ont exprimé des doutes quant à la validité de l'étude. Dans un article à ce sujet, le Bild Zeitung a utilisé entre autres des commentaires sur Twitter, et les a mis en relation avec l’accusation selon laquelle l’étude de Drosten et de son équipe était « grossièrement erronée ». Tous les chercheurs cités dans l’article du journal ont protesté contre cette affirmation. Ils ont souligné qu’une évaluation critique, en particulier d’un travail n’ayant pas encore été publié, constituait un processus normal dans le domaine de la science et une base importante pour acquérir des connaissances et identifier correctement les liens de causalité. Ils ont aussi souligné qu’on ne pouvait pas conclure d’une telle discussion que quelque chose ne va pas avec le travail. Ainsi, la querelle publique est devenue l’exemple parfait des différentes approches aux questions en suspens dans le monde de la recherche d’une part et le grand public et les médias d'autre part.
« Avec la Covid-19, les prépublications ont gagné en importance », constate Marc Schiltz. Et il est convaincu que ces nouvelles formes de publication et d’examen par les pairs gagneront en importance à l'avenir. « Dans certaines disciplines, comme la physique, elles sont déjà largement utilisées », rapporte M. Schiltz. Selon lui, dans ce contexte, le regard critique de nombre de chercheurs contribue, entre autres, à ce que les erreurs potentielles dans un manuscrit soient rapidement identifiées et puissent être corrigées. « Le format ouvert de l’examen par les pairs peut alimenter la recherche », déclare le secrétaire général du FNR. « C’est pourquoi je le trouve judicieux. »
Comment obtenir plus de transparence ?
Outre la rapidité, les détracteurs de la forme classique de l'examen par les pairs exigent un degré de transparence plus élevé. Car certains pensent que l’anonymat ne permet aucunement de garantir une évaluation neutre et équitable. Au lieu de cela, il permettrait, par exemple, à des chercheurs établis de freiner leurs concurrents avec de nouvelles approches novatrices grâce à une évaluation particulièrement critique de leur travail, ou aux réviseurs de dérober de bonnes idées afin de les mettre en œuvre eux-mêmes.
Pour limiter les risques d’un tel abus, le concept alternatif d’examen ouvert par les pairs a été mis en place. L’objectif est de rendre le processus d’évaluation plus transparent et, partant, plus clair. La base de l’examen ouvert par les pairs est le processus d’évaluation habituel. « Mais ensuite, de plus en plus de revues spécialisées décident de publier les opinions des experts et les réponses des auteurs à ces avis en plus de l’article en question », note Marc Schiltz. « C’est intéressant », ajoute-t-il. « Parce que l’on peut constater quels volets du travail étaient controversés. » Quels points n’étaient pas clairs et sont restés sans explication à la fin ? À quel niveau les opinions des scientifiques divergent-elles ? Pour les experts, les réponses à ces questions fournissent des informations précieuses au-delà du contenu de l'article.
Marc Schiltz lors de la remise des FNR Awards en 2019 (© Olivier Minaire/FNR)
Des approches transparentes telles que la levée de l’anonymat sont encore en train d’être testées, explique M. Schiltz. Il existe différents niveaux d’ouverture : par exemple, il est possible de publier uniquement les noms des réviseurs dans l'article ou le déroulement complet de la discussion entre eux et les auteurs. Certaines revues offrent aussi la possibilité – comme c’est le cas pour les prépublications – aux lecteurs de réagir aux travaux publiés et de laisser des commentaires. « À l’heure actuelle, l’évaluation ouverte par les pairs n’est pas très répandue », déclare Marc Schiltz. Mais le secrétaire général du FNR considère que le concept constitue un bon modèle pour l'avenir.
Auteur: scienceRELATIONS
Editeur: Michèle Weber (FNR)
Photos: FNR, AdobeStock
Infobox
Il convient de distinguer entre les différents types d’examens par les pairs. Si la procédure repose toujours sur le même principe d’examen par des experts indépendants, elle peut être mise en œuvre de différentes manières dans la pratique. Les différences résident principalement dans le degré d’ouverture ou d’anonymat entre les différents participants :
Procédure en simple aveugle
Cette forme d'examen par les pairs est la plus fréquemment utilisée. Elle repose sur un anonymat simple : les auteurs de l’article soumis ignorent qui évalue leur manuscrit.
Procédure en double aveugle
Avec cette méthode, les réviseurs ne connaissent pas non plus l'identité des auteurs. Seul l’éditeur de la revue qui a demandé l’évaluation connaît les noms de l’ensemble des personnes impliquées.
Procédure en triple aveugle
Cette méthode repose sur un anonymat encore plus strict : ni les réviseurs ni l’éditeur de la revue ne connaissent les noms des auteurs de l'article de recherche soumis.
Procédure en aveugle inversée
Avec cette méthode rare, la procédure en aveugle simple est pour ainsi dire inversée : les auteurs connaissent les noms des réviseurs, mais ces derniers ignorent qui a rédigé le texte qui leur est soumis.
Examen éditorial
Il ne s’agit pas à proprement parler d’une révision par les pairs, car au lieu d’experts en la matière, seul l’éditeur de la revue évalue la qualité du manuscrit.
Les réviseurs des publications sont majoritairement issus de la recherche publique, souvent financée par l'argent des contribuables. Les évaluations font partie des activités normales des chercheurs et les éditeurs ne les rémunèrent pas pour cet effort. La plupart des éditeurs sont privés et publient la plupart de leurs publications derrière un "paywall". Cela signifie que seuls les abonnés au magazine spécialisé ou les acheteurs de publications individuelles ont accès aux résultats de la recherche.
Cela représente une grande polémique dans le monde de la recherche et a conduit à un mouvement vers le soi-disant « Open Access » dans le monde entier - le libre accès aux publications scientifiques pour tous. Plus à ce sujet dans cet article.
