Wie viele von Ihnen vielleicht wissen, hat eine kürzlich durchgeführte Zusammenarbeit versucht, 100 Studien zu replizieren, die in führenden psychologischen Zeitschriften veröffentlicht wurden. Abhängig vom verwendeten Kriterium wurden nur etwa 40% der Studien repliziert.
Es hat viele und viele Gelehrte und Journalisten gegeben, die diese Ergebnisse und ihre Auswirkungen auf die Psychologie als Wissenschaft kommentieren. Es wurden viele Vorschläge gemacht, die wirklich positive Schritte sind (z. B. die Verwendung größerer Proben und eine offenere und gründlichere Berichterstattung von Daten, experimentellem Design und Proben). Aber ich möchte mich auf einen Faktor konzentrieren, der anscheinend nicht viel "Airplay" in sich trägt, warum diese Effekte nicht so einfach repliziert wurden – die Komplexität der menschlichen Psychologie.
Komplexität und die Replikationsdebatte
Stellen Sie sich irgendein Verhalten von Ihnen vor, oder irgendeine Überzeugung, die Sie haben, oder irgendeine Emotion, die Sie erfahren. Stellen Sie sich die Ursachen für jede dieser Emotionen, Überzeugungen oder Verhaltensweisen vor. Nun tue dasselbe, aber erweitere diese Quest auf die Menschen um dich herum und dann auf die Menschen in deinem Land. Dann erweitern Sie das auf die ganze Welt. Tue dies jetzt, wenn die Leute in Gruppen sind und nicht alleine. Ok, stell dir vor, du versuchst, diese verschiedenen Aspekte anderer vorherzusagen, während sich die Welt außerhalb des Labors ständig verändert und Menschen beeinflusst. Meine Vermutung ist, dass Sie leicht eine Vielzahl von Faktoren finden können, die jedes spezifische menschliche Verhalten, Denken oder Fühlen beeinflussen können.
Im Großen und Ganzen versuchen Psychologen in Experimenten zu schließen, dass 1 oder 2 Variablen menschliche Emotionen, Kognition und Verhalten vorhersagen können. Um die Sache problematischer zu machen, werden die meisten dieser Studien mit Studenten durchgeführt, fast ausschließlich aus Ost- und Mitteleuropa, Nordamerika (gut, Kanada und den Vereinigten Staaten) oder Australien. Es war lange Zeit eine sehr grobe Vereinfachung eines komplexen Wesens (des Menschen!).
Bei der Beschreibung dieser gescheiterten Replikationen scheint es unter den Psychologen dieses massenhafte Ethos zu geben, dass die in früheren Untersuchungen gefundenen Effekte in allen Proben auf ähnliche Weise auftreten sollten, unabhängig davon, was in der Außenwelt geschieht und unabhängig von den spezifischen Eigenschaften der Stichprobe. Selbst bei der Verwendung von Universitätsmustern (was die meisten Studien tun) in Originalstudien und in den versuchten Wiederholungen ist es ein wenig kurzsichtig anzunehmen, dass jede einzelne Stichprobe in allen Staaten in einer Psychologie-Studie ähnlich reagieren wird. Wenn Replikationsversuche in verschiedenen Ländern als in der ursprünglichen Studie unternommen werden, ist dies noch rätselhafter, selbst wenn Probleme beim Sprachverständnis (die bei den aktuellen Replikationsversuchen nicht berücksichtigt wurden) ausgeschlossen wurden.
Wir wissen aus der Forschung, dass, wo Menschen leben, politische Orientierung, religiöse Überzeugungen und eine Vielzahl von Persönlichkeitsvariablen vorhersagen. Nun wissen wir auch, dass viele Wirkungen in Experimenten nur für Menschen auftreten, die beispielsweise eine hohe Extraversion haben oder politisch konservativ sind oder an Gott glauben. Und wir wissen, dass für die Gegenbewegung zu jeder dieser "Gruppen" (Menschen, die in sich gekehrt sind, politisch liberal und atheistisch sind), diese Effekte nicht nur auftreten können, sondern auch die gegenteiligen Effekte auftreten können.
Nun, warum diese Forschung ignoriert wird, ist mir rätselhaft, wenn wir versuchen zu erklären, warum diese Studien sich nicht wiederholten. Wenn Sie annehmen, dass die meisten psychologischen Effekte moderiert sind (was zumindest für die sozialpsychologischen Studien, die in den Replikationsversuchen enthalten sind, eine sichere Wette ist), dann wechseln Sie natürlich die Stichproben von einer Seite eines Landes in eine andere oder von Land zu Land Land, wird einen Unterschied machen. Nicht alle Studenten sind überall gleich. Und nicht alle Welten außerhalb des Labors verhalten sich genau gleich. (über Geschichte oder Kultur).
Wenn Sie eine Stichprobe aus einem konservativen Staat nehmen, ist es sehr wahrscheinlich, dass sie etwas anders (wenn nicht sogar gegensätzlich) zu irgendeiner Studie reagieren werden, die eine Variable beinhaltet, die mit politischer Orientierung assoziiert ist, und wahrscheinlich auch religiöse Überzeugung, die angibt, wie korreliert diese beiden Variablen sind . Und ja, es ist wahr, dass es (wahrscheinlich) in jeder Bedingung eines Experiments eine gleiche Anzahl von Konservativen geben wird. Aber das bedeutet nicht, dass der Effekt nicht von den konservativen Leuten in der Stichprobe dominiert wird. Und wenn Sie mehr von diesen Personen haben, werden Sie eher den Effekt replizieren. (Wenn Sie die politische Orientierung nicht als moderierende Variable in statistischen Analysen messen, können Sie einen signifikanten Haupteffekt der Manipulation auf die abhängige Variable erhalten, aber das bedeutet nicht, dass es keine Moderation gibt). Wenn die ursprüngliche Studie diesen Moderator (in diesem Fall politische Orientierung) nicht misst oder meldet und nur einen Haupteffekt annimmt, dann wenn eine Replikation mit einem Sample durchgeführt wird, das auf dieser moderierenden Variablen niedriger ist (in diesem Fall hat liberalere Menschen), wird der Effekt wahrscheinlich nicht replizieren.
Im Wesentlichen zeigt dieses Versagen der Replikation nicht (vollständig), dass die Effekte in der ursprünglichen veröffentlichten Forschung nicht existieren. Was es wahrscheinlich zeigt, ist, dass die Dinge viel komplexer sind, als wir es ausdrücken, und die Eigenschaften der Stichprobe (und die Situationen, die spezifisch in der Versuchsanordnung, dem Bereich außerhalb des Settings und der Welt für diese Angelegenheit stattfinden) ) wirklich wichtig. Wir wissen das auf einer bestimmten Ebene, aber es wird in Diskussionen über dieses Replikationsprojekt immer wieder ignoriert. Vielleicht liegt das daran, dass Menschen ein allgemeines Bedürfnis nach Struktur und Einfachheit haben oder weil wir nach einem klaren, starken Verständnis von Menschen verlangen, so dass wir eindeutig als Wissenschaft bezeichnet werden können. Aber unabhängig davon muss wirklich berücksichtigt werden, dass nicht nur die Existenz dieser Effekte im Zweifel ist, sondern auch unser Verständnis von psychologischen Prozessen und insbesondere unsere zu starke Vereinfachung der Ergebnisse in der Vergangenheit. In dem Wunsch, zu verstehen, vermute ich, dass wir sehr vereinfachen.
Ich gratuliere den Gelehrten, die viel harte Arbeit in die Durchführung dieser massiven Replikationsbemühungen gesteckt haben. Die immense Reaktion, die es sowohl innerhalb als auch außerhalb der Psychologie erhält, zeugt von seiner Wichtigkeit. Es ist entscheidend für die Entwicklung des Feldes und für die nachfolgenden positiven Auswirkungen, die es auf die gesamte Welt haben kann, unser bestes zu tun, um viele unserer wissenschaftlichen Praktiken zu verbessern. Aber es ist vielleicht ebenso wichtig, den Drang zu überwinden, die soziale und psychologische Welt allzu stark zu vereinfachen, wenn dies die Genauigkeit, die wir anstreben, behindern könnte.
Wir leben in einer Welt von 4-5-Wege-Interaktionen und geben vor, in einer Welt von ausschließlich Haupteffekten (oder höchstens Zwei-Wege-Interaktionen) zu existieren.
