Wie wird die Qualität wissenschaftlicher Arbeiten sichergestellt?

Wenn Wissenschaftler etwas Neues herausgefunden haben, teilen sie dies der Forschungsgemeinschaft und auch anderen Menschen weltweit mit. Denn Ergebnisse zu kommunizieren ist ein wichtiger Teil der wissenschaftlichen Methode. Nur so wird Wissenschaft zu einem ständigen Prozess der Wissenserweiterung.

Die Zahl wissenschaftlicher Publikationen mit solchen Ergebnissen schwillt immer schneller an. Täglich erscheinen zahlreiche neue Berichte – in Hand- und Lehrbüchern, als Beiträge in Tagungs- und Sammelbänden oder Artikel in einem der vielen Tausend Fachjournale, in denen Verlage weltweit aktuelle Forschungsergebnisse veröffentlichen. Hinzu kommen sogenannte Preprints auf Servern wie medRxiv.org: Manuskripte mit Forschungsergebnissen, die noch nicht von anderen Wissenschaftlern begutachtet worden sind – die also den sogenannten Peer Review-Prozess noch nicht durchgemacht haben.

In diesem Dickicht aus neuen Studien, experimentellen Daten und wissenschaftlichen Thesen den Überblick zu behalten, ist selbst für Experten eine Herausforderung. Das gilt in besonderem Maß während der Corona-Pandemie, in der Experten ständig neue Informationen über SARS-CoV-2, COVID-19 und Impfungen erhalten. Wegen der Dringlichkeit und Aktualität der Situation gelangen viele davon an die Öffentlichkeit, bevor sie von der wissenschaftlichen Gemeinschaft vervollständigt, erklärt oder kritisch begutachtet werden konnten.

Wie können Journalisten damit umgehen? Wie können sie die Qualität und Zuverlässigkeit einer wissenschaftlichen Arbeit beurteilen?

Forschungsergebnisse, die nach einem Peer Review-Verfahren veröffentlicht werden, gelten in der Regel als bestätigte, neue Erkenntnis. Doch das System hat auch seine Schwächen. Die Qualität und Reichweite einzelner Fachmagazine variiert zum Teil stark. Peer Reviewer können voreingenommen sein und nicht alle Fehler werden immer aufgedeckt. Hinzu kommt: Das Peer Review Verfahren kann sehr lange dauern. Und auch nachdem die Ergebnisse für gut befunden und veröffentlicht wurden, geht die Evaluierung der Forschung weiter. Andere Wissenschaftler können Kritik daran üben oder versuchen auf den Ergebnissen aufzubauen. Wissenschaftliches Arbeiten ist ein kontinuierlicher Prozess und neue Erkenntnisse werden ständig ergänzt – und mitunter auch widerlegt.

Wir haben mit Paul Wilmes, Professor und Leiter einer Forschungsgruppe an der Universität Luxemburg, sowie mit Marc Schiltz, Generalsekretär des Luxemburger Fonds National de la Recherche (FNR), über den Peer Review-Prozess gesprochen. Zunächst haben sie ein paar praktische Tipps, wie ein Laie wissenschaftliche Arbeiten richtig einordnen kann.

Links: Paul Wilmes (© Emily Iversen/FNR); rechts: Marc Schiltz (© Olivier Minaire/FNR). 

Wie kann man als Laie die Qualität von wissenschaftlichen Arbeiten beurteilen?

Für Paul Wilmes ist eines unumgänglich: „Um die Resultate einer Arbeit verwenden zu können, muss sie vor ihrer Veröffentlichung ein Peer Review durchlaufen haben“, sagt der Luxemburger, der seit 2011 die Systems Ecology Forschungsgruppe am Luxembourg Centre for Systems Biomedicine (LCSB) leitet.

Und die Arbeit sollte idealerweise in einem Magazin mit großem Renommee in der Fachwelt erschienen sein. „Wir Wissenschaftler wissen, bei welchen Journalen die Qualität hoch ist“, sagt Wilmes. Daher lohnt es sich für Journalisten, bei Forschern nachzufragen – „auch um unabhängige Meinungen über die betreffende Studie einzuholen“.

Ein weiteres wichtiges Merkmal ist laut Wilmes, wie oft der Artikel von anderen Forschern zitiert worden ist – aber auch WIE er üblicherweise zitiert wird: „Wurde etwas Neues herausgefunden – und sind daraus nachfolgend weitere Publikationen entstanden? Oder hat die Arbeit strittige Diskussionen ausgelöst?“ Das macht einen entscheidenden Unterscheid, betont der LCSB-Forscher: „Eine viel zitierte Arbeit ist nicht unbedingt auch eine gute Arbeit.“ Auch hierüber kann ein Gespräch mit Wissenschaftlern Aufschluss geben.

Marc Schiltz empfiehlt zudem, sich direkt an die Forschergruppe zu wenden, die hinter der Publikation steht: „Wenn es seriöse Wissenschaftler sind, kann man mit ihnen reden.“ Der Physiker leitete jahrelang als Professor eine Forschungsgruppe an der Ecole Polytechnique Fédérale de Lausanne. Journalisten die sich auf Preprints beziehen, die noch nicht begutachtet wurden, empfiehlt der FNR-Chef, dieses wichtige Detail zumindest zu erwähnen.

„Das Vorgehen beim Peer Review hat einen sehr großen Stellenwert“, bestätigt Marc Schiltz. „Es gilt in der wissenschaftlichen Publizistik als Goldstandard für eine hohe Qualität.“ Das belegen auch Umfragen unter den Wissenschaftlern. So stimmten bei einer Erhebung des Publishing Research Consortium – eines Zusammenschlusses aus Medienverbänden und Verlagen – 82 Prozent der befragten Forschenden der Aussage zu: „Ohne Peer Review gäbe es keine Kontrolle in der wissenschaftlichen Kommunikation“. 

Nicht zuletzt wegen dieses breiten Zuspruchs innerhalb der Forschergemeinschaft ist die Methode weit verbreitet. „Der Anteil der Journale, die Peer Review nutzen, ist sehr hoch“, betont Schiltz, der selbst auch als Co-Editor bei einem Fachmagazin tätig ist. Vor allem bei renommierten Magazinen mit großer Bedeutung und hohem Anspruch ist das Verfahren das Mittel der Wahl zur Qualitätssicherung. Darüber hinaus wird es auch in anderen Bereichen genutzt – etwa, um die Arbeit von Forschungsgruppen oder -einrichtungen zu evaluieren, oder bei Entscheidungen darüber, welche Forschungsprojekte in welchem Rahmen finanziell unterstützt werden sollen. Doch wie funktioniert die „Begutachtung unter Gleichgestellten“ im Detail? Wir beleuchten das am Beispiel von Veröffentlichungen, etwa zu neuen experimentellen Ergebnissen aus den Naturwissenschaften, in Fachjournalen. Doch der Ablauf ist im Prinzip derselbe auch in anderen Fachbereichen und bei anderen Publikationen, die ein Peer Review durchlaufen.

Wie verläuft ein Peer Review-Prozess?

Nach der Auswahl eines geeignet erscheinenden Fachjournals reichen die Autoren einer wissenschaftlichen Arbeit ihr Manuskript in der Regel online dort ein. „Dann hat man als erste Hürde den Schreibtisch des Herausgebers oder eines Redakteurs des Journals zu überwinden“, sagt Paul Wilmes. Dabei wird zunächst geprüft, ob der angebotene Beitrag formal für eine Veröffentlichung geeignet erscheint – etwa mit Blick auf seinen Inhalt und Stil. Fällt diese erste Prüfung positiv aus, „muss man den Herausgeber des Journals davon überzeugen, dass die Arbeit stichhaltig und belastbar ist und dass sie neue und wichtige Ergebnisse zeigt.“ Dazu holt sich die Redaktion Hilfe von Experten mit ausreichend großem Hintergrundwissen, um etwa eine Studie verlässlich beurteilen zu können – und bittet einen oder mehrere Forscher um eine Begutachtung: Das Peer Review beginnt, für das je nach Journal unterschiedliche Leitlinien gelten können.

Abb: Wie das Peer Review in den Forschungsprozess eingebettet ist (© AdobeStock)

Im Prinzip geht es aber stets darum zu beurteilen, ob etwa die angewandten Methoden schlüssig wirken und korrekt beschrieben sind, ob die Auswertung von Daten nachvollziehbar ist und daraus entwickelte Thesen plausibel erscheinen. Darüber gibt jeder Gutachter eine Bewertung ab – und eine Empfehlung, ob der eingereichte Artikel in der bestehenden Form veröffentlicht werden kann, ob er gekürzt, ergänzt, überarbeitet oder abgelehnt werden sollte. „Beim Peer Review ist es von zentraler Bedeutung, dass man als Autor eines Manuskripts bereit ist, seine Arbeit offenzulegen – damit andere Wissenschaftler schauen können, ob sie zu denselben oder ähnlichen Schlussfolgerungen gelangen“, sagt FNR-Generalsekretär Schiltz.

Und man muss bereit sein, gegebenenfalls Anmerkungen und Vorschläge für Nachbesserungen der eingereichten Arbeit anzunehmen und umzusetzen. Die gibt der Herausgeber an die Autoren weiter, die er um eine Stellungnahme oder eine entsprechende Überarbeitung des Artikels bittet. Hier hat man als Autor die Gelegenheit, durch stichhaltige Argumente die Kritik der Gutachter zu entkräften, meint LCSB-Wissenschaftler Paul Wilmes: „durch eine faktenbasierte Diskussion, die mit Argumenten und Daten untermauert ist.“ Wilmes hat auf diese Weise mehr als 100 Beiträge als Autor oder Co-Autor zur Veröffentlichung gebracht. „Dabei hatte ich nie das Gefühl, dass Gutachter unfair waren – auch wenn sich manche Einwände nur schwer nachvollziehen ließen.“

Wer kommt als Gutachter in Frage?

„Die mit der Begutachtung beauftragten Peer Reviewer müssen Experten sein, die eine eingereichte Arbeit richtig beurteilen können“, betont Paul Wilmes, der selbst auch regelmäßig Gutachten erstellt. „Um eine hohe Qualität sicherzustellen, ist es wichtig, dass sie das Manuskript nicht einfach durchwinken.“

Üblicherweise sind die Gutachter Forscher, die auf demselben Gebiet tätig sind wie die Autoren des eingereichten Manuskripts – aber nicht derselben Arbeitsgruppe angehören. Denn entscheidend ist ihre Unabhängigkeit: Sie sollen beim Prüfen der Arbeit nicht durch eigene Interessen oder persönliche Beziehungsgeflechte beeinflusst werden. Aus diesem Grund verläuft das Peer Review meist auch anonym. Autoren und Gutachtern ist in der Regel nicht bekannt, mit welchen anderen Beteiligten sie es zu tun haben. (siehe Infobox weiter unten „Die breite Palette des Peer Review“).

Wie lange dauert das Verfahren?

„Wichtig ist es beim Peer Review, einen langen Atem zu haben“, meint LCSB-Forscher Wilmes. Denn die Diskussionen im Rahmen des Peer Review können sich mächtig in die Länge ziehen – auch weil sich die Einschätzungen einzelner Gutachter deutlich voneinander unterscheiden können. Mitunter geht das Manuskript deshalb mehrmals zwischen Autoren, Journal und Gutachtern hin und her, bis die Ampel schließlich grünes Licht für eine Veröffentlichung zeigt – oder der Beitrag abgelehnt wird. „Bei einem Manuskript, das wir zur Veröffentlichung im Fachmagazin Nature Communications eingereicht hatten, lief das Verfahren über vier Runden, an denen insgesamt sechs Gutachter beteiligt waren“, berichtet Paul Wilmes. Zur Publikation freigegeben wurde die Arbeit erst nach mehr als einem Jahr. „Schon zweimal mussten wir zu einem eingereichten Manuskript sogar zusätzliche Messungen machen und dazu unter anderem neue Proben präparieren“, berichtet Wilmes.

Foto: Paul Wilmes in seinem Labor an der Universität Luxemburg

Eine Dauer von mehreren Monaten bis zur Freigabe einer Publikation ist bei den meisten Magazinen die Regel. Und genau das ist einer der Mängel, die Kritiker des klassischen Peer Review hervorheben.

Denn die Wissenschaft hat zwar einen langen Atem. Doch bei vielen wichtigen oder brisanten Forschungsthemen sind möglichst schnelle Fortschritte von entscheidender Bedeutung – etwa, wenn es um die Gesundheit oder das Leben von Menschen geht. Ein Paradebeispiel dafür ist die COVID-19-Pandemie, die sich ab Anfang 2020 weltweit ausgebreitet hat. Zahlreiche Forscher rund um den Globus arbeiteten daraufhin fieberhaft daran, die Grundlagen des neuen Krankheitserregers zu ergründen, Symptome zu untersuchen sowie Therapien, Medikamentenwirkstoffe und Impfpräparate zu entwickeln. Dazu waren sie auf einen möglichst raschen Zugang zu neuen Ergebnissen anderer Teams angewiesen. Zeit, um auf den Abschluss langwieriger Begutachtungen im Rahmen eines Peer Review zu warten, hatten die Wissenschaftler nicht.

Wie werden neue Erkenntnisse schneller publik?

Deshalb ist manchmal ein höheres Tempo unverzichtbar. Dass das möglich ist, haben viele Fachjournale während der COVID-19-Pandemie bewiesen, meint Paul Wilmes: „Sie haben großen Wert darauf gelegt, die Begutachtungen bei Corona-spezifischen Forschungsarbeiten deutlich zu beschleunigen.“ Gleichzeitig hat die Pandemie ein Konzept weiter beflügelt, dass bereits seit rund 20 Jahren praktiziert wird: die Vorabveröffentlichung von Forschungsresultaten durch sogenannte Preprints. „Das sind Manuskripte, die noch nicht begutachtet sind“, erklärt FNR-Chef Marc Schiltz. Sie werden von Studienautoren auf Webseiten, etwa von Fachjournalen, oder in speziellen Foren öffentlich gemacht – und sind dort in der Regel für alle Interessierten einsehbar. „Auf diese Weise stehen wichtige Ergebnisse schnell zur Verfügung“, betont Schiltz. Eine Begutachtung durch vom Verlag bestellte Fachkollegen im Rahmen eines Peer Review findet in der Regel nach der Veröffentlichung als Preprint statt. Experten sprechen daher auch von „Post Publication Peer Review“.

Wichtig ist: Der spätere Begutachtungsprozess kann durchaus zu Änderungen an dem Artikel führen – „oder sogar dazu, dass vorab veröffentlichte Arbeiten wieder zurückgezogen werden“, sagt Schiltz. „Den Wissenschaftlern ist das klar und sie wissen deshalb, dass Preprints grundsätzlich mit Vorsicht zu genießen sind“, betont der FNR-Chef. „Für Nichtfachleute kann es aber mitunter schwierig sein, damit umzugehen.“ (siehe Infobox „Der Forscher und die Bild-Zeitung“).

Das gilt umso mehr, da mit der Veröffentlichung eines Preprints zugleich die Bühne für Diskussionen in der fachlichen Community eröffnet wird. Fachkollegen können die Arbeit und ihre Ergebnisse frei kommentieren oder kritisieren – und tun das teils auch außerhalb des entsprechenden Publikationsforums, etwa in sozialen Medien wie Facebook und Twitter. Das kann den Autoren der Studie bereits vor einer offiziellen Begutachtung wertvolle neue Ideen liefern.

„Durch COVID-19 haben Preprints an Bedeutung gewonnen“, stellt Marc Schiltz fest. Und er ist überzeugt, dass solche neuen Formen des Publizierens und des Peer Review in Zukunft immer wichtiger werden. „In einigen Fachbereichen wie der Physik sind sie bereits heute weit verbreitet“, berichtet Schiltz. Dort trage der kritische Blick vieler Forscher unter anderem dazu bei, dass Fehler, die möglicherweise in einem Manuskript enthalten sind, schnell erkannt werden und sich ausbügeln lassen. „Die offene Form der Begutachtung kann die Forschung befruchten“, meint der FNR-Generalsekretär. „Daher halte ich sie für sinnvoll.“

Wie gelangt man zu mehr Transparenz?

Neben der Schnelligkeit ist ein höheres Maß an Transparenz eine Forderung von Kritikern der klassischen Form des Peer Review. Denn, so mahnen manche Stimmen, dessen Anonymität sei keineswegs ein Garant für eine neutrale und fair Bewertung. Stattdessen ermögliche sie beispielsweise, dass etablierte Forschende ihre Konkurrenz mit provokanten neuen Ansätzen durch eine besonders kritische Beurteilung ihrer Arbeit ausbremsen – oder dass Gutachter pfiffige Ideen stehlen, um sie selbst umzusetzen.

Um die Risiken eines solchen Missbrauchs zu verringern, hat sich das alternative Konzept des Open-Peer Review entwickelt. Ziel ist es dabei, den Prozess der Begutachtung durchsichtiger und damit besser nachvollziehbar zu machen. Die Basis für das Open-Peer Review ist das übliche Vorgehen der Begutachtung. „Doch danach gehen immer mehr Fachjournale dazu über, mit der Veröffentlichung des Artikels auch die Gutachten und die Antworten der Autoren darauf zu publizieren“, stellt Marc Schiltz fest. „Das ist interessant“, meint er. „Denn man kann so ersehen, welche Punkte der Arbeit kontrovers waren.“ Was war nicht eindeutig und blieb am Ende ungeklärt? Wo haben die Wissenschaftler unterschiedliche Einschätzungen? Für Experten liefern die Antworten auf diese Fragen wertvolle Informationen, die über das, was in dem Beitrag steht, hinausgehen.
 

Marc Schiltz bei der Preisverleihung der FNR Awards im Jahr 2019 (© Olivier Minaire/FNR)

Mit transparenten Ansätzen wie der Aufhebung der Anonymität wird derzeit noch experimentiert, berichtet Schiltz. Dabei gibt es unterschiedliche Abstufungen im Grad der Offenheit: So können etwa nur die Namen der Gutachter im Artikel veröffentlicht werden oder auch der komplette Diskussionsverlauf zwischen ihnen und den Autoren. Manche Journale bieten darüber hinaus die Möglichkeit eröffnet, dass – ähnlich wie bei Preprints – alle Leser auf veröffentlichte Arbeiten reagieren und Kommentare dazu hinterlassen können. „Bislang ist das Open-Peer Review noch nicht sehr weit verbreitet“, sagt Marc Schiltz. Doch der FNR-Manager betrachtet das Konzept als ein gutes Modell für die Zukunft.

Autor: scienceRELATIONS
Editor: Michèle Weber (FNR)
Fotos: FNR, AdobeStock