Gibt es eine Replikationskrise in der experimentellen Psychologie?

Quelle: Wikicommons

Eine Replikationskrise?

Die letztjährige Publikation einer Studie zur Reproduzierbarkeit von Befunden in der experimentellen Psychologie in Science löste Bestürzung in allen relevanten Bereichen aus. Zweihundertsiebzig mit The Open Science Collaboration assoziierte Forscher versuchten, die Ergebnisse von hundert Artikeln aus führenden Fachzeitschriften aus der experimentellen Psychologie zu replizieren, konnten aber nur in neununddreißig Prozent der Fälle unkontroverse Replikationen erzielen. Diese Zahl liegt natürlich weit unter der Zahl, die aufgrund der üblichen statistischen Standards für veröffentlichungsfähige Forschung zu erwarten wäre.

Dieses Papier trägt nur zu wachsenden Bedenken hinsichtlich der methodologischen Richtigkeit vieler wissenschaftlicher Forschungen bei, da die Rückzugsraten von veröffentlichten Artikeln unter den Zeitschriften in den letzten zehn Jahren in den meisten Wissenschaften zugenommen haben. Die allgemeine Sorge ist, dass der Druck auf die Wissenschaftler, nicht nur zu veröffentlichen, sondern neue überraschende Ergebnisse zu veröffentlichen, einige dazu verleitet, in ihrer Forschung hin und wieder Abstriche zu machen. Kommentatoren haben eine Vielzahl von Vorschlägen über problematische Praktiken gemacht, die dazu führen können, dass einige Ergebnisse nicht repliziert werden können, einschließlich einer unzureichenden Anzahl von Versuchsteilnehmern oder einer Hypothese, die auf der Grundlage von Mustern formuliert wurde, die nach der Tat gefunden wurden die ursprüngliche Hypothese untersucht.

Ist der Zusammenhang von Bedeutung?

• Brauchen Sie einen Kreativitätsschub? Probieren Sie diesen neuen mehrzeiligen Ansatz
• So finden Sie Ihren nächsten Super Star-Mitarbeiter
• Verschreibungspflichtiger Medikamentenmissbrauch und der ärztliche Pförtner
• Festung der Angst: Warum wir manchmal Gelegenheit sabotieren
• Die Neurowissenschaft des Vertrauens

In einem kürzlich erschienenen Artikel in der New York Times beschrieb Jay Van Bavel die Forschungsergebnisse, die er und seine Kollegen in dieser Angelegenheit angestellt hatten. Es sollte untersucht werden, ob Unterschiede zwischen den Kontexten, in denen die Replikationsversuche durchgeführt wurden, und den Kontexten der ursprünglichen einhundert Studien andererseits eine kritische Erwägung bei der Erklärung der Replikationsrate gewesen sein können so tief. Wurden die Kontexte, in denen die Replikationsstudien durchgeführt wurden, in kritischer Weise von den ursprünglichen Experimenten abweichen, um die Wahrscheinlichkeit, Replikationen zu erhalten, zu reduzieren?

Kontextuelle Faktoren umfassen zeitliche, kulturelle, geografische und demografische Unterschiede. Wurde eine Studie vor der Großen Rezession durchgeführt, während die andere danach durchgeführt wurde? Waren die Teilnehmer an einer Studie Chinesen, aber die Teilnehmer an der versuchten Replikation Kanadier? Fand die ursprüngliche Forschung in einer großen Stadt statt, während die entsprechende Studie in einer kleinen Stadt stattfand? Waren die Teilnehmer an der ersten Studie von Studenten einer Elite-amerikanischen privaten Universität, sondern die Teilnehmer der zweiten mittleren Altersgruppe von arbeitslosen alleinerziehenden Müttern, die Lebensmittelmarken beantragten? Der Punkt ist nicht, dass irgendjemand vorher wissen kann, dass solche Variablen die Ergebnisse der Studien beeinflussen werden. Es ist nur so, dass die Ergebnisse einiger Studien angesichts des Charakters der Themen, die sie untersuchen, wahrscheinlicher als andere von solchen kontextuellen Fragen beeinflusst werden könnten.

Die Rolle des Kontexts erkunden

• Nach der Trennung: Umarmen der Lektionen
• Steigern Sie Ihr Vertrauensbewusstsein mit diesen Hauptakteuren
• Beurteilung der Konstruktivität des politischen Diskurses
• Den Glücksfaktor testen
• Der Wert der Unterstützung

Van Bavel und seine Mitarbeiter engagierten Programmierer mit einer Ausbildung in experimenteller Psychologie, um die relative Kontextsensitivität der einhundert Experimente zu bewerten. Jeder der Programmierer las die Abstracts von fünfzig der Papiere und bewertete sie auf einer Skala von eins bis fünf, wie kontextsensitiv sie die Studien für wahrscheinlich hielten. Die substanzielle Übereinstimmung der Beurteilungen der Beurteiler von fünfundzwanzig zufällig ausgewählten Studien, die von allen Beurteilenden bewertet wurden, ergab, dass sie Studien ähnlich bewerteten. Van Bavel und seine Mitarbeiter berechneten die durchschnittlichen Bewertungen der Kontextsensitivität der Studien und maßen, wie gut sie mit erfolgreichen Replikationen korrelierten.

Entscheidend war, dass die Studien mit den niedrigeren Context Sensitivity Scores signifikant häufiger erfolgreich repliziert wurden. Die Einschätzungen der Kontextsensitivität der Studien erwiesen sich als einflussreicher Prädiktor, auch nachdem eine Vielzahl von Faktoren berücksichtigt wurden, die in der Literatur der experimentellen Psychologie mit einer erfolgreichen Replikation verbunden waren. Die Messung der Kontextsensitivität hat auch eine gute Arbeit geleistet, die elf Studien unter den hundert zu prognostizieren, für die die ursprünglichen Ermittler im Voraus Bedenken über die Versuche, sie zu replizieren, geäußert haben. Angesichts des Argwohns, dass diese Autoren ihre Bedenken registrierten, weil sie die Schwächen ihrer Studien erkannten, ergab eine weitere Analyse, dass nur das Kontextsensitivitätsmaß unter der Vielzahl von Studiencharakteristika, die zuvor mit der Vorhersage des Replikationserfolges assoziiert wurden, ein signifikanter Prädiktor für ob ein Autor solche Bedenken äußerte.

Die Quintessenz ist, dass, sobald Forscher sich der kritischen Rolle, die kontextuelle Variablen in den Ergebnissen psychologischer Experimente spielen können, widmen, Gerüchte über eine Replikationskrise in der experimentellen Psychologie möglicherweise etwas übertrieben sind.