Die Psychologie steckt immer noch in der Krise

Es ist noch nicht an der Zeit, über unser Replikationsproblem zu sprechen.

Vielleicht verbessert sich die Welt ständig, oder wir denken einfach, dass es so ist. Sicher scheinen sich die Wissenschaftler der „Whig-Geschichte“ anzuschließen, der Vorstellung, dass der historische Wandel einen unvermeidlichen und unaufhaltsamen Fortschritt mit sich bringt. Nehmen Sie zum Beispiel die Art und Weise, wie sie über ihre Arbeit sprechen.

Im Jahr 1974 wurden in einer von 50 Zeitschriftenzusammenfassungen komplementäre Deskriptoren zur Beschreibung der Forschung eingesetzt. Bis 2014 wurde dieses Lob einmal in allen sechs Abstracts veröffentlicht, eine Steigerung von fast 900 Prozent. Allein der Begriff „innovativ“ war um 2.500 Prozent gebräuchlicher geworden – ohne offensichtliche Hinweise darauf, dass die beschriebene Forschung 25-mal mehr bahnbrechend war. Es scheint, dass Wissenschaftler das Kaliber ihrer Leistungen mit jedem Jahr stetig verbessert haben.

Die Jahrzehnte zwischen 1974 und 2014 waren jedoch fast genau diejenigen, in denen die Unruhe über die Qualität der veröffentlichten Wissenschaft Fieber erreichte. Die Besorgnis über einen unparteiischen Publikationsvoreingenommenheit, unzureichende Stichprobenauswahl und viele andere Probleme führten dazu, dass Beobachter die Stellung der veröffentlichten Forschung in Frage stellten. Es erschienen mehrere wegweisende Artikel, darunter der John PA Ioannidis-Klassiker “Warum die meisten veröffentlichten Forschungsergebnisse falsch sind”.

Es scheint, dass je mehr wir über die Schwäche unserer Forschung erfahren, desto stärker glauben wir, dass dies der Fall ist. Diese kognitive Gewohnheit ist sicherlich beunruhigend. Wir sollten es im Hinterkopf behalten, wenn uns gesagt wird, dass die Replikationsprobleme der Psychologie gelöst werden. Leider können wir diese Probleme nicht einfach wegwünschen.

• Sozialpsychologische Fähigkeit: Eine Frage der Persönlichkeit?
• Lektionen von Tieren über Barrieren für weibliche Führungsrolle
• Studieren eines möglichen Race Bias bei Offizierangriffen
• Es wird für LGBTQ Youth nicht „besser“
• Undergraduate-Ausbildung neu erfunden

* * *

In der Tat könnte die Wissenschaft – einschließlich der psychologischen Wissenschaft – immer schlechter werden, anstatt immer besser zu werden. Wenn der Wert eines Universitätsangestellten in Zuschussdollar und Zitate angerechnet wird, ist das, was für den einzelnen Forscher gut ist, nicht unbedingt gut für die Forschung. Eine Besessenheit mit der Ausgabemenge führt dazu, dass die Rigorosität unangemessen wird und stattdessen die natürliche Auswahl schlechter Wissenschaft gefördert wird.

Angesichts der jüngsten Zunahme des Medieninteresses an der iffy-Replikationsaufzeichnung der Psychologie ist es leicht, den Eindruck zu erwecken, dass unser Krisenzustand etwas Neues ist. Tatsächlich hat sich unser Feld seit Jahrzehnten mit verschiedenen, miteinander verwobenen Krisen auseinandergesetzt:

• The Arrowing Illusion: Die irreführende Intuition der Psychologie
• Wie man einen schlechten Anführer ausfindig macht, 2009 und 2019
• Die praktische Bedeutung des freien Willens
• Psychologie in Flammen
• Warum psychiatrische Versorgung mehr ist als nur Zahlen

• theoretische Fragmentierung ( eine paradigmatische Krise )
• Reduktionismus ( eine Messkrise )
• schlampige Ansätze für Signifikanz- und Effektgrößen ( eine statistische Krise )
• eine Tendenz, sich auf einen winzigen Teil der Bevölkerung zu konzentrieren ( Stichprobenkrise )
• verfrühter Optimismus hinsichtlich des Fortschritts der Psychologie, sowohl in der Grundlagenforschung als auch bei der Lösung der Probleme der Reproduzierbarkeit ( eine Übertreibungskrise , wenn Sie so wollen).

In meinem neuen Buch ” Psychologie in der Krise” analysiere ich systematisch jede der oben genannten Krisen und mehrere andere.

Ich habe viel vom Schreiben von Psychologie in Crisis gelernt . Ich habe zum Beispiel gelernt, dass, wenn jemand das Wort “Krise” erwähnt, es Menschen geben werden, die fragen: “Krise? Welche Krise? “Es wird immer Menschen geben, die verzweifelt die Krise wegwünschen.

In der Psychologie haben öffentliche Auseinandersetzungen zwischen Selbstflagellatoren und ihren rosigen Kollegen zwangsläufig dazu geführt, dass ein Schlagzeile-Schriftsteller behauptet, die Psychologie sei “in der Krise, ob sie sich in einer Krise befindet”, ein literarischer Gedanke, der mehr als nur einen Ring der Wahrheit trägt.

* * *

In letzter Zeit haben Psychologen erhebliche Fortschritte bei der Verschärfung des Feldes gemacht, und es ist wichtig, dies anzuerkennen. Trotzdem müssen wir meiner Meinung nach ernsthaft vermeiden, von Optimismus in den Schlaf gerissen zu werden. Wir können unsere Wache noch nicht enttäuschen.

Dies liegt daran, dass wir trotz unserer Bemühungen, die Dinge zu verbessern, wenig oder nichts unternommen haben, um die grundlegende Kraft, die unsere Replikationsprobleme nährt, zu bekämpfen – die perversen Anreize, die die natürliche Auswahl der schlechten Wissenschaft überhaupt kultiviert haben.

Letztendlich:

• In den Zeitschriften werden nach wie vor statistisch signifikante Ergebnisse gegenüber der Meldung von Null-Effekten priorisiert, wodurch schlampige Praktiken wie p- hacking und „HARKing“ (Hypothese, nachdem die Ergebnisse bekannt sind) gefördert werden, und der Effekt des Dateispeichers aufrechterhalten wird. Sie tun dies, weil sie dadurch erfolgreicher werden. Der Markt hungert nach statistischer Signifikanz; Die Zeitschriften ernähren diesen Hunger, damit sie selbst überleben können.
• Zitierungen (und h- Indizes) werden immer noch routinemäßig verwendet, um die Leistung einzelner Forscher zu bewerten, obwohl jeder weiß, dass solche Maßnahmen nichts über die Forschungsqualität aussagen (und diese daher nicht fördern) . Tatsächlich zeigen Metriken oft das Gegenteil von Qualität an – wirklich schlechte Studien werden regelmäßig viral. Diese Beharrlichkeit bei der Verwendung von Zitaten als Maß für das Talent der Forscher – unter anderem von Tenure Committees und Grant-Agenturen – fördert das Schneiden von Salami, die Selbstzitierung von Angriffen und andere destruktive Gewohnheiten, die dazu führen, dass die Forschung verzerrt wird.
• Trotz vieler Verurteilungen bleiben Journal Impact Factors die wichtigste Währungseinheit für die Bewertung von Journalen. Die nachteiligen Auswirkungen von JIFs sind sehr gut dokumentiert. Sie setzen die Journalherausgeber unter Druck, blinde Augen in Richtung Salami-Schneiden und Zitieren-Auffüllen zu richten. Sie ermutigen die Verleger außerdem dazu, ihre Publikationen über Monate (wenn nicht sogar über Jahre hinweg) in Druck zu halten oder vor Drucklegung online zu halten, was die spätere Aufzeichnung der Forschungsergebnisse in einem bestimmten Bereich weiter trübt. Eine wettbewerbsfähige Form der Kriterium-Jagd, nicht der Wunsch, die Qualität der Wissenschaft zu maximieren, bestimmt das Verhalten in dieser Branche. Seine Krisen werden nicht so schnell vergehen.
• Einige problematische Autoren-Konventionen bleiben ungehindert. Viele beziehen sich auf das Free-Loading (die Vergabe von Autorenguthaben, wenn dies nicht gewährleistet ist). Dies wird wieder durch willkürliche Konventionen und Zweckmäßigkeit der Branche ermöglicht. In Standard-Lebensläufen und persönlichen Profilen (z. B. bei Google Scholar) versagen beispielsweise die einzelnen Autorenkennzahlen aufgrund der Tatsache, dass es sich bei den meisten Psychologiepapieren um Teamarbeit handelt. Jedem Mitautor wird daher eingeräumt, dass er für eine gegebene Arbeit eine vollständige Veröffentlichung (und nicht einen Anteil von einer) erstellt hat und davon ausgegangen wird, dass er alle seine Zitate (und nicht nur einen Teil) angezogen hat. In jedem anderen Kontext der Arbeitsproduktivität würde die Ausgabe eines Teams logisch als eine einzige Ausgabe gelten. Es wird niemals als eine von der Anzahl der Teammitglieder multiplizierte Ausgabe gezählt. In der Psychologie wie in anderen Bereichen der Wissenschaft führt eine unendliche Skalierbarkeit zu weit reichenden Autorenlasten (“ehrenhafte” oder “Geister” -autoritäten sind immer noch eine Sache), was zu einer allgemeinen Verachtung der Forschungsethik führt. (Bedenken Sie: Wenn es in Ordnung ist, die ethischen Normen der Urheberschaft zu ignorieren, welche anderen ethischen Normen können Sie dann ignorieren?) Eine solche Schlamperei ist genau das Gegenteil von Strenge und füttert die bösen Wissenschaften in all ihren Formen.

* * *

Quelle: Jesse Orrico / Stocksnap

Die Vorregistrierung von Forschungsprotokollen wird sicherlich zur Lösung des Problems mit der Dateiablage beitragen. Im Großen und Ganzen bleibt die Registrierung von Forschungsergebnissen jedoch fakultativ und nicht obligatorisch. Psychologen können leicht Forschungsprogramme verfolgen, ohne sich vorab registrieren zu müssen.

Wenn es um eine Anstellung oder Beförderung geht, bieten nur wenige Universitäten (falls vorhanden) Bonuspunkte für die Veröffentlichung vorregistrierter Studien im Gegensatz zu der traditionellen, nicht registrierten Art. Während registrierte Berichte für eine gute Wissenschaft wichtig sind, bleiben die Anreize, die Wissenschaftler zu ihrer Produktion ermutigen müssen, äußerst schwach.

Ich kenne keine umfassenden Statistiken zu diesem Thema, aber es würde mich wundern, wenn die vorregistrierte Forschung nur einen Prozent von dem ausmacht, was in diesem Jahr in den Psychologie-Zeitschriften veröffentlicht wird. Ausgehend von einer Nulllinie vor nicht allzu langer Zeit bedeutet dies Fortschritt. Aber lassen Sie uns noch nicht mitreißen, um unsere kühne neue Welt zu feiern.

* * *

Wenn die verzerrte Belohnungsarchitektur, die die Forschung in der Psychologie (und anderen Wissenschaften) prägt, nicht abgebaut wird, wird sichergestellt, dass wir weiterhin dieselbe Dynamik erleben werden, die uns im vergangenen Jahrhundert zu unserer derzeitigen Unordnung geführt hat.

Behauptungen, dass wir unsere Probleme behoben haben (oder, subtiler, dass wir sie überbewertet haben), sind kontraproduktiv, weil sie uns in ungerechtfertigten Optimismus wiegen. Sie lassen uns die Augen vom Preis nehmen.

Stattdessen sollten wir uns darum bemühen, unseren Fokus gestochen scharf zu halten. Wir dürfen das Ende der Krise nicht vorzeitig feiern. Lassen Sie uns nicht der Krisenverweigerung erliegen oder die Prämisse in Frage stellen. Versuchen wir zu vermeiden, dass die kognitive Dissonanz, die optimistische Selbsttäuschung und die verrückte Verstärkung, die zu einer Krise geführt hat, das Ende der Krise ist.

Andernfalls könnten wir in einem immer tieferen Aufruhr enden, einer völlig unserer eigenen Schöpfung – in einer Krise darüber, ob wir uns überhaupt in einer Krise befinden, ob wir uns in einer Krise befinden.