 |
|
|
|
|
|
 |
 |
Neues aus der Welt der Wissenschaft |
|
|
|
|
|
|
Statistik: Hälfte der Forschungsstudien ist falsch |
|
| | | Mehr als die Hälfte der publizierten Wissenschaftsergebnisse ist falsch, so die harsche Kritik einer aktuellen Studie. Wie wahrscheinlich Wahrheit oder Unwahrheit bei Forschungsstudien sind, lässt sich laut einem griechischen Mediziner durch eine Reihe von Faktoren statistisch erheben - was dabei herauskommt, ist nicht gerade schmeichelhaft für die Forscher. |
|
|
|
|
|
|
|
|
| |
John Ioannidis von der University of Ioannina School of Medicine identifizierte eine Reihe von statistischen Faktoren und Korrelationen, die zum Wahrheitsverlust bei Forschungsstudien führen.
Darunter: Fehlerquellen wie die Verwendung zu kleiner Untersuchungsdesigns, die Voreingenommenheit von Wissenschaftlern und das abgeschottete Forschen im eigenen Kämmerlein ohne Vergleichsstudien. Auch finanzielle Interessen sowie die eigene Reputation stehen der Wahrheit oft genug im Weg.
|
|
Der Artikel von John Ioannidis "Why Most Published Research Findings Are False" erschien in der Open-Access-Zeitschrift "Public Library of Science Medicine" (PLoS Med 2(8): e272, DOI: 10.1371/journal.pmed.0020124) |
|
|
 Zum Artikel |
|
|
|
|
|
|
Studien-Design ist häufig mangelhaft |
|
| |
Eine hohe Wahrscheinlichkeit von falschen Ergebnissen sei auf häufig verwendete Untersuchungsdesigns und vorherrschende Rahmenbedingungen zurückzuführen.
Laut Ioannidis spiegeln die publizierten Ergebnisse in vielen aktuellen Wissenschaftsbereichen (der Medizin) vor allem vorgefasste Meinungen wider. Zu oft würde vergessen, dass auch so genannte "Null-Ergebnisse" - häufig als "falsche" bezeichnet - von großem Wert seien. Null-Ergebnisse bezeichnen dabei Resultate, die die vorgefassten Hypothesen oder Erwartungen konterkarieren.
Eine Widerlegung von Forschungergebnissen und Kontroversen sieht der Mediziner in fast allen Bereichen: von klinischen Testversuchen über traditionelle Epidemien-Forschung bis hin zur modernsten Molekularforschung.
|
|
|
|
|
|
Kleine Studien und Voreingenommenheit |
|
| |
Der Analyse nach sind Ergebnisse oftmals nur auf eine einzige Studie zurückzuführen, sie haben so eine sehr geringe statistische Bedeutung.
Bei Voreingenommenheit von Wissenschaftlern droht laut Ioannidis Manipulation auf unterschiedlichen Ebenen, nämlich bei der Auswahl des Untersuchungsdesigns und der Daten, bei Analysemethoden und Präsentationsformen.
Nach Einschätzung des Mediziners nehmen Messfehler und ineffizienter Gebrauch von Daten in ihrer Bedeutung bei der Verfälschung von Resultaten eher ab. Verbesserte technologische Methoden in der Molekularbiologie sowie ein zunehmender Anspruch an die Daten würden für diesen Trend sprechen.
|
|
|
|
|
|
Isolation bei Forschung |
|
| |
Eher schwierig sei, dass verschiedene Teams heute mehrmals unabhängig, aber parallel zu ein- und demselben Thema forschen - ohne Austausch von Informationen und Vergleichsstudien. Zum Bedauern des Forschers dominiert nach wie vor die Mentalität, dass Forschungsergebnisse isoliert betrachtet werden.
In seinen statistischen Modellen stellte sich Ioannidis nun die Frage: Wie wahrscheinlich ist es, dass Forschung wahr ist oder nicht? Er kam dabei auf eine Reihe von Korrelationen.
|
|
|
|
|
|
Zu kleine Studien |
|
| |
"Je kleiner die durchgeführten Studien in einem wissenschaftlichen Feld sind, desto weniger wahrscheinlich ist es, dass die Ergebnisse der Wahrheit entsprechen", sagt Ioannidis.
Wissenschaftsergebnisse seien eher wahr, wo größere Sample genutzt würden.
Das sei eher bei den "Randomized Controlled Trials" zur Überprüfung der Wirksamkeit von medizinischen Maßnahmen in der Kardiologie der Fall, dort würden mehrere 100.000 Testpersonen ausgewählt. Bei molekularen Vorhersagen würden dagegen häufig nur kleinere Sample-Größen (100fach kleinere Stichproben) hinzugezogen.
|
|
|
|
|
|
"Effekt"-Faktor von Bedeutung |
|
| |
Ein weiteres Problem sei laut dem Mediziner, dass in vielen wissenschaftlichen Feldern oftmals der "Effekt" zu klein wäre. Der Effekt beschreibt den Risikofaktor - wie stark zum Beispiel Rauchen die Gesundheit gefährdet, oder wie wahrscheinlich es ist, dass eine Behandlung eine Krankheit verbessert.
Wahre Ergebnisse wären in Bereichen mit größerem Effekt wahrscheinlicher, wie zum Beispiel dem unmittelbaren Einfluss vom Rauchen auf Krebs.
Genetische Risikofaktoren für Krankheiten, bei denen viele verschiedene Gene gleichzeitig wirken, seien durch eher geringe Effekte des einzelnen Gens gekennzeichnet - die Ergebnisse der Forschung daher eher falsch, so häufig bei der modernen Epidemiologie.
|
|
|
|
|
|
Fehlerquelle: Hypothesen-Wissenschaft |
|
| |
"Je geringer die Auswahl von getesteten Beziehungen in einem wissenschaftlichen Kontext ist, desto eher sind die Ergebnisse falsch", lautet eine weitere These. Wissenschaft, die vor allem auf Hypothesen aufbauen würde, ist laut Ioannidis "gefährdeter" als Wissenschaft, die auf in Vorstudien bestätigte Designs oder Meta-Analysen setzt.
Mit größerer Flexibilität der Designs, Definitionen, Ergebnisse und analytischen Methoden würde ebenfalls die Gefährdung der Ergebnisse eintreten.
Wahre Ergebnisse wären häufiger, wenn eindeutige Ergebnisse (wie der Tod) herauskämen, nicht skalierbare (z.B. Grad der Schizophrenie).
|
|
|
|
|
|
Biomedizin: Hot Spot für Interessenskonflikte |
|
| |
Finanzielle und andere Interessen sowie Vorurteile können ebenso zu unwahren Ergebnissen führen. Interessenskonflikte sind laut Ioannidis gerade im biomedizinischen Bereich sehr häufig. Manchmal würde die reine Qualifikation von Wissenschaftlern (Promotion) über die Publikation im Vordergrund stehen, die Wahrheit der Ergebnisse jedoch keine Rolle spielen.
Und je "heißer" das Wissenschaftsfeld wäre - je mehr im Mittelpunkt des Interesses -, desto weniger wahrscheinlich wären Ergebnisse wahr. "Deshalb sehen wir so oft große Aufregung, schnell gefolgt von tiefer Enttäuschung, in Bereichen, die eine breite Aufmerksamkeit auf sich gezogen haben", resümiert Ioannidis.
|
|
|
|
|
|
Bezüge zur Praxis |
|
| |
Den Praxis-Beweis über den geringen Wahrheitsgehalt der Forschungsergebnisse bleibt Ioannidis in seiner Studie schuldig - dabei handelt es sich um rein statistische Korrelationen.
Solomon Snyder, Herausgeber der renommierten Fachzeitschrift "PNAS", kommentierte die Studie im "New Scientist" gelassen: "Wenn ich die Literatur lese, dann nicht wie ein Lehrbuch zwecks Beweisfindung. Ich lese sie, um Ideen zu bekommen. Selbst wenn etwas in dem Aufsatz falsch ist: Falls er den Samen einer Idee hat, so ist das etwas zum Nachdenken."
Lena Yadlapalli, science.ORF.at, 30.8.05
|
|
|
|
|
|
|
|
| |
Weitere Artikel zum Thema bei science.ORF.at:
|
|
|
01.01.2010 |
