Etwa zwei Drittel der psychologischen Befunde halten in Top-Journalen an

Studien in Top-Filialen sind nicht von Bedenken hinsichtlich der Reproduzierbarkeit ausgenommen.

Quelle: VikiVector / Shutterstock

Ein Team von Wissenschaftlern, das 21 experimentelle psychologische Erkenntnisse aus den renommierten Fachzeitschriften Science and Nature wiederholen wollte, konnte 13 davon replizieren.

Die Psychologie befand sich in einer Bewegung, um problematische Praktiken zu erkennen und zu reformieren, die zu unzuverlässigen Ergebnissen führen. Erkenntnisse auch aus den angesehensten Zeitschriften sind diesen Hindernissen nicht entgangen. Dies zeigt, wie wichtig es ist, weiterhin Richtlinien umzusetzen, die neue wissenschaftliche Erkenntnisse vertrauenswürdiger machen.

• Religiöse Begründung für einen säkularen Staat
• Hilfe für Angst: Wenn Sie sich Ihren Ängsten stellen, wird Ihr Gehirn geheilt
• Ein Hinweis zur Craig-Hitchens-Debatte
• Was wäre, wenn dein Vater ein Pädophiler wäre?
• Wie Therapeuten ihre LGBTQ-Kunden oft ausfallen lassen

„Wir streben alle nach diesem eingängigen, überraschenden Ergebnis. Das ist in der Wissenschaft keine schlechte Sache, denn so sprengt die Wissenschaft Grenzen “, sagte Brian Nosek, der Hauptautor der Studie und Professor für Psychologie an der University of Virginia. „Der Schlüssel ist, die Ungewissheit davon zu erkennen und anzunehmen, und es ist in Ordnung, wenn sich herausstellt, dass sich einige als falsch herausstellen.“ Was der letzte Test zeigt, erklärte er letzte Woche in einer Webkonferenz: „Wir können viel effizienter arbeiten falsche Anhaltspunkte zu identifizieren, anstatt sie persistieren zu lassen, weil wir uns nie darum gekümmert haben, sie zu replizieren. “

Ein internationales Wissenschaftlerteam überprüfte alle zwischen 2010 und 2015 in Science and Nature veröffentlichten sozialwissenschaftlichen Arbeiten. Sie planten, eine Teilmenge von Studien zu replizieren, die einen experimentellen Eingriff beinhalteten, ein signifikantes Ergebnis generierten und bei einer Gruppe von Teilnehmern durchgeführt wurden.

Das Team erstellte das experimentelle Design so genau wie möglich und arbeitete mit den ursprünglichen Autoren zusammen. Sie registrierten auch das Studienprotokoll, das Design und die Analyse im Open Science Framework, einem System zur Erhöhung der Zuverlässigkeit und Transparenz in der Wissenschaft. Sie führten jede Studie mit fünfmal mehr Personen als das Original durch, so dass die Untersuchung besonders empfindlich für den Nachweis experimenteller Effekte war.

• 7 Lektionen für das Aufziehen widerstandsfähiger Kinder
• Wenn Wahrheit keine Wahrheit ist
• Vergessen Sie die langen Stunden: Erfolg der Selbstpflege
• Wahrhaftigkeit der Trauma-informierten Lücke zwischen Wissenschaft und Politik
• Zweck, Bedeutung und Moral ohne Gott

Das Team replizierte erfolgreich 13 der Studienergebnisse oder 62 Prozent. Die restlichen acht Studien konnten nicht repliziert werden. Frühere Reproduktionsinitiativen haben zu einer Reihe von Ergebnissen geführt, und das Team schätzt, dass die Reproduzierbarkeit der Psychologie derzeit zwischen 35 und 75 Prozent liegt. Die Wissenschaftler stellten auch fest, dass die Stärke der experimentellen Wirkungen etwa die Hälfte der ursprünglichen Studien ausmachte. Die Ergebnisse wurden heute in der Fachzeitschrift Nature Human Behavior veröffentlicht.

Viele Stücke haben zu den Problemen bei der Replikation beigetragen. Wissenschaftler sind in der Regel flexibel, wie sie experimentelle Daten analysieren, und indem sie unterschiedliche Ansätze ausprobieren, können sie die Ergebnisse bewusst oder unbewusst an die Schwelle der statistischen Signifikanz heranführen. Die Forscher können auch eine Hypothese ändern, nachdem sie die Ergebnisse gesehen haben. Dies führt dazu, dass die bedeutenden Ergebnisse, die sie gefunden haben, zu einer überzeugenden Erzählung zusammengefügt werden. Sie müssen ihre Daten nicht zur Verfügung stellen, was dazu führen kann, dass fragwürdiges Verhalten nicht überprüft wird. Am wichtigsten ist jedoch, dass Wissenschaftler und Journalredakteure dazu angehalten werden, so viele neue, auffällige Ergebnisse wie möglich zu veröffentlichen, anstatt frühere Ergebnisse zu replizieren, um die Zuverlässigkeit zu gewährleisten.

Diese Elemente führen dazu, dass neue Ergebnisse und starke Effekte mit einer irreführenden Rate gemeldet werden. Dies wird durch die Tatsache veranschaulicht, dass die durchschnittliche Größe der Effekte in den replizierten Studien nur halb so groß war wie ursprünglich. “Dies ist ein sehr konsistentes Thema in der Nachbildung”, sagte Sanjay Srivastava, Professor für Psychologie an der University of Oregon, der nicht an der Forschung beteiligt war. „Wenn Studien manchmal über- und manchmal unterschritten werden, sollte es 50/50 sein. Aber das ist überhaupt nicht der Fall. “

Das Team entwickelte auch ein Experiment, um herauszufinden, ob Psychologen solide und strenge Ergebnisse feststellen können. Eine Gruppe von 200 Forschern setzte darauf, welche Studien einer Prüfung standhalten würden oder nicht. Die Wahrscheinlichkeit, dass eine Studie sich replizieren würde, prognostizierte das Ergebnis für 18 der 21 Studien.

“Als Gemeinschaft stolpern wir nicht völlig im Dunkeln, wenn es darum geht, was zu replizieren ist”, sagte Will Gervais, Professor für Psychologie an der University of Kentucky, in der Webkonferenz. „Sie könnten möglicherweise Peer-Reviewer darin trainieren, nach den Mustern zu suchen, die die Leute aufgreifen. Auf diese Weise können wir hoffentlich einige dieser Fehlalarme aussortieren, bevor sie die Literatur verschmutzen. “

Gervais verfasste eine der Studien, die nicht repliziert werden konnten. Das Papier wurde 2012 in Science veröffentlicht und zeigte, dass analytisches Denken den Glauben an die Religion unterdrückte. Zu dieser Zeit hatten Bedenken hinsichtlich der Stärkung der Glaubwürdigkeit das Feld noch nicht durchdrungen. Nun erkennt er, dass das Experiment ziemlich schwach war und im Verlauf seiner Karriere nicht so gut war wie andere Ideen.

„Unsere Studie war im Nachhinein absolut dumm. Es war eine sehr kleine [Anzahl von Teilnehmern] und gerade kaum von Bedeutung – eine Art Parität für den Kurs, bevor wir anfingen, Reproduzierbarkeit ernst zu nehmen “, sagte Gervais. “Eines der besten Dinge, die sich aus der gesamten Replizierbarkeitsbewegung ergeben, ist, dass es Kritiker und Redakteure anstößt, mehr zu wissen, was wir überhaupt veröffentlichen und unterstützen sollten.”

Das Feld hat einen großen Beitrag zur Glaubwürdigkeit der neuen Forschung geleistet. Die Lösungen umfassen das Testen von Experimenten mit einer größeren Anzahl von Personen, die Schaffung einer strengeren Schwelle für die statistische Signifikanz, die Veröffentlichung von Daten, die Fortsetzung der Replikationsbemühungen sowie die öffentliche Vorregistrierung des Plans für eine Studie, bevor diese durchgeführt wird, wodurch die Flexibilität der Forscher eingeschränkt wird, die zu falschen Ergebnissen führt Positiv. Das Open Science Framework wurde im Jahr 2012 gegründet und umfasst jetzt Registrierungen von mehr als 20.000 Studien, so Nosek, Geschäftsführer des Center for Open Science. Der Satz hat sich seit seiner Gründung jedes Jahr verdoppelt.

“Diese Studie ist wirklich eine gute Motivation, weiterhin Zeitschriften zu drängen, um ihre Richtlinien zu aktualisieren und Anreize zu ändern, damit Wissenschaftler für mehr dieser Praktiken belohnt werden”, sagte Srivastava. „Es ist, als würde man sein Auto schieben, wenn es ins Stocken gerät. Das Auto bewegt sich, aber Sie müssen weiter schieben, sonst wird es anhalten. “