 |
|
|
|
|
|
 |
 |
Neues aus der Welt der Wissenschaft |
|
|
|
|
|
|
Peer Review: Wie erkennt man gute Gutachter? |
|
| | | Gutachter sind die grauen Eminenzen im Forschungsbetrieb. Sie bewerten die Qualität von Manuskripten und entscheiden häufig darüber, ob sie publiziert werden - oder nicht. Zwei Forscher stellten sich nun die Frage: Wie erkennt man eigentlich einen guten Gutachter? Ihre Antwort: auf den ersten Blick gar nicht. Gut ist, wer in der Praxis gut arbeitet. |
|
|
|
|
|
|
|
|
| |
Der akademische Werdegang gebe jedenfalls keine Hinweise auf die spätere Performanz beim so genannten Peer Review, berichtet Michael L. Callaham von der University of California in San Francisco.
|
|
"The Relationship of Previous Training and Experience of Journal Peer Reviewers to Subsequent Review Quality" von Michael L. Callaham und John Tercier ist im Open Access-Journal "PLoS Medicine" (Bd. 4, e40) erschienen. |
|
|
 Studie |
|
|
|
|
|
|
Hürdenlauf zur Publikation |
|
| |
Wenn Forschungsergebnisse in einem guten Fachjournal erscheinen sollen, muss zunächst eine wichtige Hürde überwunden werden: das gestrenge Urteil des so genannten Peer Reviewers - eines meist anonymen Gutachters, der die eingereichte Arbeit im besten Fall auf Herz und Nieren prüft und den Herausgebern der Zeitschrift dann deren Ablehnung oder Publikation empfiehlt.
Der Sinn des Ganzen: Das Peer Review-Verfahren soll Fehler oder Lücken in den Manuskripten aufdecken und so die Qualität der Forschungsarbeiten verbessern. Manchmal weisen die Gutachter nur auf Tipp- oder Zitatfehler im Text hin (die harmlose Variante), manchmal geht es aber auch ans Eingemachte. Dann nämlich, wenn sie die Methodik und Argumentation grundsätzlich in Frage stellen und massive Nachbesserungen einfordern.
In diesem Fall muss der Autor häufig noch ein paar Monate oder gar Jahre schuften, damit es zur Publikation kommt. Es sei denn, er versucht sein Glück bei einem anderen, weniger renommierten Journal, bei dem nicht ganz so strenge Maßstäbe angelegt werden.
|
|
|
|
|
|
Notensystem soll Leistung sichern |
|
| |
Herausgeber sind wiederum daran interessiert, möglichst gute Peer Reviewer an ihr Journal zu binden. Nur: Wie erkennt man einen solchen? Wer begutachtet die Performanz der Gutachter?
Dafür gibt es kaum standardisierte Verfahren. Im Fall des Journals Annals of Emergency Medicine etwa bewerten die Herausgeber die Leistung der Gutachter nach einem Schulnotensystem. Note 5 bedeutet in diesem Fall, dass die Arbeit exzellent bzw. "kaum zu verbessern" war, 4 steht für überdurchschnittliche Leistungen. Gutachter, die regelmäßig die Noten 1 oder 2 (definiert als "unbefriedigend") bekommen, werden meist nicht mehr für weitere Zusammenarbeit kontaktiert.
Michael L. Callaham von der University of California in San Francisco fand vor einigen Jahren heraus, dass gut benotete Gutachter meist auch mehr Fehler in den Manuskripten entdecken. Der statistische Zusammenhang der beiden Größen ist allerdings nicht berauschend (JAMA 280, 229).
|
|
|
|
|
|
Suche nach Kriterien |
|
| |
Callaham hat sich dieses Themas im Rahmen einer aktuellen Studie nun erneut angenommen. Diesmal wollte er wissen, ob bereits der akademische Werdegang Hinweise darauf gibt, ob Gutachter einen guten Job abliefern werden oder nicht. Intuitiv würde man vermuten: ja.
Denn Erfahrung beim Einreichen von Forschungsprojekten, eine hohe akademische Position, langjährige Forschungstätigkeit - das alles sollte eigentlich die Fähigkeit erhöhen, gute von schlechten Manuskripten zu unterscheiden.
Callaham untersuchte daher die Lebensläufe von 306 Reviewern, die während vier Jahren insgesamt 2.856 Arbeiten für die Annals of Emergency Medicine begutachteten.
|
|
|
|
|
|
Ernüchternde Bilanz |
|
| |
Trotzdem Callaham und sein Kollege John Tiercer von der University of Lancaster die Daten nach allen Regeln der Kunst statistisch durchleuchteten, kam nicht viel heraus. Eine Ausbildung in Statistik hatte ebenso wenig mit der späteren Leistung als Gutachter zu tun, wie die Position im Forschungsbetrieb.
Immerhin in zwei Kategorien gab es schwache Hinweise auf Exzellenz: Laut der Untersuchung schnitten jene Fachleute besser ab, die an Universitätskliniken statt an öffentlichen Spitälern unterrichten. Ebenso erwiesen sich relativ junge Leute (mit entsprechend weniger Erfahrung) als die besseren Gutachter.
Letzteres hätte man wohl so nicht erwartet, aber es kam noch dicker: Fachleute, die Teil eines "Institutional Review Boards" waren, bekamen sogar eher schlechtere Noten. Nähme man das für bare Münze, müssten Herausgeber erfahrene Gutachter wohl eher meiden.
Die Conclusio von Callaham und Tiercer fällt daher recht ernüchternd aus: "Qualifikationen beim wissenschaftlichen Peer Review sind genauso schlecht definiert und genauso schwer vorherzusagen wie etwa der gesunde Menschenverstand."
[science.ORF.at, 30.1.07]
|
|
|
01.01.2010 |
