 |
|
|
|
|
|
 |
 |
Neues aus der Welt der Wissenschaft |
|
|
|
|
|
|
Viele Forscher zitieren, ohne Literatur zu kennen |
|
| | | Damit sich Wissen durch Forschung vermehren kann, müssen die relevanten Studien erfasst und richtig wiedergegeben werden. Was nach einer Binsenweisheit klingt, ist offenbar nicht selbstverständlich: Zwei Forscher haben stichprobenartig überprüft, ob eine der meistzitierten Studien zur Durchführung von Umfragen von den Autoren ähnlich gelagerter Artikel überhaupt gekannt wurde, und wenn ja, ob sie richtig wiedergegeben und angewandt wurde. |
|
|
|
|
|
|
|
|
| |
Die Ergebnisse sind erschütternd: Die große Mehrheit ignorierte die Studie, obwohl ihre Empfehlungen zur Gestaltung von Umfragen als grundlegend gelten. Und selbst wenn das schon im Jahr 1977 publizierte Paper in neuere Forschungsarbeiten Eingang fand, wurde es meist falsch verstanden.
"Autoren sollten auch tatsächlich die Literatur lesen, die sie zitieren", lautet eine lapidare Empfehlung von Malcolm Wright (University of South Australia) und J. Scott Armstrong (University of Pennsylvania). Mit ihrer Analyse legen sie den Finger in eine scheinbar große Wunde der aktuellen Forschung: Zitate werden immer öfter aus rein strategischen Gründen in Artikel eingebaut: um den Reviewern zu gefallen, aber ohne die Literatur zu kennen.
|
|
Die Studie "The Ombudsman: Verification of Citations: Fawlty Towers of Knowledge?" ist im Journal "Interfaces" (Band 38, Nummer 2, S. 125-139, DOI:10.1287/inte.1070.0317) erschienen. |
|
|
 Zum Abstract |
|
|
|
|
|
|
"Klassiker" als Studienobjekt |
|
| |
Um stichprobenartig zu überprüfen, wie es sich mit der Korrektheit der Zitate durch Fachkollegen verhält, wählten die beiden Wirtschaftswissenschaftler die Studie "Estimating Nonresponse Bias in Mail Surveys" aus.
Die bereits im Jahr 1977 erschienene Arbeit behandelte die Frage, wie man bei Umfragen mit dem Teil der Nicht-Antwortenden umgehen soll. Der Artikel enthält konkrete Vorschläge, wie man eine systematische Verzerrung der Umfrageergebnisse verhindern kann, indem die Einstellung des schweigenden Teils "geschätzt" und eingerechnet wird.
|
|
|
|
|
|
2,1 Prozent zitierten grundlegende Studie |
|
| |
Die damalige Studie gilt bis heute als grundlegend, was sich auch in konkreten Zahlen niederschlägt: Laut ISI Citation Index wurde sie von 1977 bis 2006 insgesamt 963-mal zitiert und nimmt von allen aus dem "Journal of Marketing Research" angeführten Studien den dritten Platz ein.
Bei der Analyse wählten Wright und Armstrong zuerst den breiten Ansatz: Sie fanden über die Studiensuchmaschine "Google Scholar" 27.300 Einträge, die von Umfrageforschung handelten. Nur sechs Prozent behandelten die Frage der Antwort-Verweigerer, nur 2,1 Prozent zitierten die grundlegende Studie.
|
|
|
|
|
|
84 Prozent: Inhaltliche Fehler |
|
| |
Diese 2,1 Prozent wurden dann herangezogen, um die Fehlerrate festzustellen: Formale Fehler (etwa Fehler im Namen der Autoren oder der Studie) kamen zu 7,7 Prozent vor.
Für den Forschungsprozess schädlicher ist aber die inhaltlich falsche Umsetzung der in der alten Studie enthaltenen Empfehlungen: Immerhin 84 Prozent der neuen Artikel setzten auf statistische Tests, um das Problem der unbeantworteten Fragebögen zu beherrschen - eine Methode, die in der Studie aus 1977 nicht empfohlen wird und die als untauglich gilt.
Zur Erklärung gebe es nur zwei Möglichkeiten: Entweder die Forscher haben die alte Studie nicht gelesen oder sie nicht verstanden - in diesem Fall aber auch keinen Kontakt mit den Autoren gesucht, um offene Fragen zu klären.
|
|
Leichter durch den Review-Prozess
Warum überhaupt Zitate eingebaut werden, wenn man die Originalliteratur nicht kennt, darüber lässt sich laut Wright und Armstrong nur spekulieren. Als sie ihre Analyse vor der Veröffentlichung an Kollegen schickten, bekamen sie unter anderem folgende Antwort: Bekannte Studien zu zitieren sei eine Methode, um leichter durch den Review-Prozess zu kommen. |
|
|
|
|
|
|
Kein exklusives Problem der Sozialwissenschaften |
|
| |
Wer nun glaubt, dass das ein Problem der Wirtschafts- und generell der Sozialwissenschaften ist, der irrt. Zumindest für die Medizin gibt es zahlreiche Analysen, die ein ähnliches Fehlverhalten belegen.
Laut einer Studie aus dem Jahr 1987 waren 31 Prozent der Zitate in Medizin-Journals falsch belegt, drei Prozent waren so verfälscht, dass die Quelle des Zitats nicht ausfindig gemacht werden konnte. 2004 erschien eine Analyse, wonach 19 Prozent aller Zitate in Anatomie-Zeitschriften inhaltlich falsch waren.
|
|
|
|
|
|
Lesen und kontaktieren |
|
| |
Wright und Armstrong vermuten hinter den Fehlern deshalb ein Massenphänomen, das die Qualität des Publikationsprozesses in Frage stelle. Im Gegenzug appellieren sie einerseits an die Autoren, dass sie - so komisch es klingen mag - die Literatur lesen sollen, die sie zitieren.
Wenn sie für die eigene Arbeit fundamentale Erkenntnisse früherer Studien verwenden, sollten sie diese Autoren kontaktieren, um die Korrektheit der Zitierung sicherzustellen.
|
|
|
|
|
|
Auch Aufgaben für Herausgeber |
|
| |
Herausgeber von Zeitschriften wiederum sollten von den Forschern eine Art "Ehrenerklärung" verlangen, dass sie die Originalpapers gelesen und in wichtigen Fällen mit den Autoren Kontakt aufgenommen haben.
Das koste zwar Zeit und Geld, so Wright und Armstrong, aber mit der derzeitigen Praxis würde die Seriosität wissenschaftlichen Arbeitens in Frage gestellt.
|
|
|
|
|
|
Setzen selbst Empfehlungen um |
|
| |
Was sie für andere verlangen, haben die beiden Wirtschaftswissenschaftler beim Verfassen ihrer aktuellen Studie übrigens getan:
Sie haben zwölf Autoren von Studien, die sie zitieren, kontaktiert, acht antworteten mit durchwegs hilfreichen Hinweisen. "Wir sind daher zuversichtlich, dass unsere Empfehlungen funktionieren könnten."
Elke Ziegler, science.ORF.at, 30.5.08
|
|
|
|
|
|
|
|
| |
Mehr zum Thema in science.ORF.at:
|
|
|
01.01.2010 |
