Eine kurze Anleitung zur Replikationskrise in der Psychologie

Die Studium:

Brian Nosek und die Open Science Collaboration:

Wir führten Replikationen von 100 experimentellen und korrelativen Studien durch, die in drei psychologischen Fachzeitschriften veröffentlicht wurden, wobei hochwertige Designs und Originalmaterialien verwendet wurden. [ Wissenschaft Artikel hier.]

Die Ergebnisse:

• Ein besserer Begriff als Extremismus
• Opportunitätskosten: Die größte Idee der Sozialwissenschaften
• Männliches Gehirn, weibliches Gehirn
• Das Problem des freien Willens … und eine mögliche Lösung
• Nimm das Kognitionswissenschafts-Quiz

1. Nur 36% der Replikationen waren "erfolgreich" (dh erzeugte p- Werte <0,05).
2. Die durchschnittliche Effektgröße der Replikationen war etwa halb so groß wie die der ursprünglichen Studien.
3. Schwächere, überraschendere Befunde replizierten weniger.
4. Sozialpsychologische Befunde waren weniger als halb so wahrscheinlich replizierbar wie Befunde in der kognitiven Psychologie.
5. Die Haupteffekte waren eher replizierbar als die Interaktionseffekte.

Einige der Ergebnisse, die nicht repliziert haben …

• Die Leute werden eher betrügen, nachdem sie eine Passage gelesen haben, die sie darüber informiert, dass ihre Aktionen entschieden sind und sie daher keinen freien Willen haben.
• Menschen machen weniger strenge moralische Urteile, wenn sie gerade ihre Hände gewaschen haben.
• Partner-Frauen werden von alleinstehenden Männern mehr angezogen, wenn sie ovulieren (wenn die Frauen ovulieren, das ist). [Siehe hier, hier.]

Was ist das Problem?

Die Replikationsrate ist beunruhigend gering. Der Epidemiologe John Ioannidis schätzt, dass etwa 50% der veröffentlichten Ergebnisse zumindest in der Medizin falsch sind – also ist dieses Ergebnis schlimmer als selbst er erwartet hatte.

• Menschliche Vielfalt und "American Exceptionalism"
• Die Templeton Foundation: "Philosophie beißt"
• Wie man mit Wut fertig wird
• Was bedeutet "Schwarzer Sabbat" mit "Gott ist tot?"
• Beweis des Himmels

Und die tatsächliche Replikationsrate kann sogar niedriger als 36% sein. Alle Studien wurden von drei führenden Psychologiezeitschriften übernommen. Wer weiß, wie hoch die Erfolgsquote in den niederrangigen Fachzeitschriften ist?

Noseks Studie geht davon aus, dass jeder gegebene Befund in der Psychologie eher eine Fiktion als eine Tatsache ist. Wenn du Psychologie studierst, ist vieles, was du gelernt hast, falsch. Und wenn du Psychologie lehrst, verbringst du möglicherweise einen großen Teil deines Lebens damit, Unwahrheiten zu verbreiten. Das ist ein Problem.

Die Antworten:

"Eine Replikationsrate von 36% ist nicht wirklich schlecht."

Sanjay Srivastava:

Wissenschaft muss Risiken eingehen und Grenzen verschieben, so dass selbst eine optimale Wissenschaft falsch positive Ergebnisse generiert. Wenn 36 Prozent der Replikationen statistisch signifikante Ergebnisse erhalten, ist es nicht klar, wie diese Anzahl aussehen soll. [Mehr]

Urteil : Stimme nicht zu.

Erstens ist die hohe Rate falsch-positiver Ergebnisse nicht nur auf intellektuelle Risikobereitschaft zurückzuführen. Dies liegt auch an kleinen Stichprobengrößen, dem P- Hacken, dem Phänomen des Dateieinzugs, dem Publikationsbias und – in einigen Fällen – an der reinen Herstellung von Daten.

Selbst wenn keines dieser Dinge ein Problem darstellte, wäre die Replikationsrate immer noch besorgniserregend angesichts der Tatsache , wie selten Replikationen in der Psychologie versucht oder veröffentlicht werden . Eine Replikationsrate von 36% könnte in Ordnung sein, wenn wir mehr Aufmerksamkeit auf das Auslöschen von falsch-positiven Ergebnissen aus der Literatur richten würden – aber das tun wir nicht, das ist es auch nicht.

"Es ist nicht nur Psychologie!"

Urteil : stimme zu. Einige Bereiche sind besser als die Psychologie, ohne Zweifel – aber einige tun sich schlechter. [Siehe zB hier]

"Es ist nicht alles von Psychologie. Manche Bereiche sind schlechter als andere. "

Urteil : stimme zu. [Siehe zB hier.]

Vern Quinsey:

Ich mag dieses Projekt, mag aber nicht die kommunikative Art, wie die Ergebnisse kommuniziert werden. Erstens werden die Ergebnisse tendenziell so präsentiert, als wären sie repräsentativ für die Psychologie – sie sind es nicht. Zum Beispiel sind Psychophysik und Gedächtnis unterrepräsentiert. Noch wichtiger ist, dass viel Psychologie kein Laborexperiment verwendet – Daten werden aus Archivquellen gesammelt. In einigen dieser Bereiche wurden die wichtigen Beobachtungen hunderte Male wiederholt (denken Sie beispielsweise an die Korrelation zwischen Alter und Kriminalität). Zweitens werden Meta-Analysetechniken, die explizit entworfen wurden, um Probleme der Replizierbarkeit zu adressieren und jetzt hochentwickelt sind, vollständig ignoriert.

Einige relevante Tweets:

[Anmerkung: "beh genetic" = "verhaltensgenetisch". Die Studie, mit der Brian verbunden ist, ist hier.]

"Es gibt keine Krise – die Aufdeckung und Zurückweisung falscher Ergebnisse ist nur ein Teil der Wissenschaft. Der Psychologie geht es gut. "

Lisa Feldman Barrett:

das Fehlschlagen der Replikation ist kein Grund zur Beunruhigung; Tatsächlich ist es ein normaler Teil davon, wie Wissenschaft funktioniert … Angenommen, Sie haben zwei gut durchdachte, sorgfältig durchgeführte Studien, A und B, die das gleiche Phänomen untersuchen. Sie führen scheinbar identische Experimente durch, und dennoch kommen sie zu entgegengesetzten Schlussfolgerungen. Studie A erzeugt das vorhergesagte Phänomen, Studie B hingegen nicht. Wir haben einen Fehler beim Replizieren.

Bedeutet dies, dass das fragliche Phänomen notwendigerweise illusorisch ist? Absolut nicht. Wenn die Studien gut geplant und durchgeführt wurden, ist es wahrscheinlicher, dass das Phänomen aus Studie A nur unter bestimmten Bedingungen zutrifft. Die Aufgabe des Wissenschaftlers besteht nun darin, herauszufinden, unter welchen Bedingungen neue und bessere Hypothesen zu testen sind. [Mehr]

Urteil : Stimme nicht zu.

Ed Yong:

Zum einen, wie Dorothy Bishop von der Universität Oxford auf Twitter notiert hat, "wirft es die Frage auf, wie ernst es ist, Erkenntnisse zu nehmen, die so genau von den Bedingungen abhängen." Mit anderen Worten, wenn die Ergebnisse zarte welkende Blumen sind Blühen nur unter der Obhut bestimmter Experimentatoren, wie relevant sind sie für die unordentliche, laute, chaotische Welt außerhalb des Labors? [Mehr]

Darüber hinaus haben die Forscher sich bemüht, die Studien so genau wie möglich zu replizieren, wodurch sinnvolle Kontexteffekte eliminiert werden sollten.

"OK, die Nachrichten sind nicht großartig. Aber wenn wir die Ergebnisse durch eine Bayessche Linse betrachten, sind sie ein bisschen weniger grimmig, als sie zuerst erscheinen … "

Urteil : stimme zu. Nach einem Bayesschen Ansatz beschrieb Alex Etz das Ergebnis der Studie folgendermaßen:

• Starke Replikationserfolge: 25%
• Moderate Replikationserfolge: 10%
• Unschlüssig: 30%
• Moderate Replikationsfehler: ≈20%
• Starke Replikationsfehler: ≈20% [Mehr]

Das letzte Wort

Um klar zu sein, nichts davon impliziert, dass Psychologie als Wissenschaft ungültig ist, oder dass es ein einzigartig fehlerhaftes Untersuchungsfeld ist. Wir machen Fortschritte, und diese Forschung ist ein Teil davon. Wir sind gerade weiter gegangen als die meisten von uns dachten!

—————————-

Dank an den Blogger Robert King für die anregende Diskussion dieser Themen.

Für mehr Gleiches nur anders, folge mir auf Twitter.