Was ist falsch an sozialpsychologischer Wissenschaft?

Dieser Blogeintrag fasst einige der vielen und tiefen Dysfunktionen zusammen, die die psychologische Wissenschaft und insbesondere die sozialpsychologische Wissenschaft charakterisieren. Einige davon beinhalten "unter die Haube schauen" – technische, statistische und methodologische Aspekte der sozialpsychologischen Forschung.

Ist das nicht unglaublich langweilig im Vergleich zu zB Artikeln über "Sechs Wege zu besserem Sex" oder "Fünf Anzeichen, dass du mit einem Soziopathen lebst" – die Art von Artikeln, die man oft in anderen Blogs von Psych Today findet. Warum sollte sich jemand anderes als Wissenschaftler darum kümmern?

Deshalb solltest du dich darum kümmern und warum ich denke, dass viele von euch das interessant finden werden. Die "Informationen" in diesen Ratgeberspalten können von zwei Orten stammen: den beruflichen und persönlichen Erfahrungen der Autoren oder der Wissenschaft. In Ermangelung von guter Wissenschaft, sind professionelle und persönliche Erfahrung alles, was wir tun müssen, und es ist definitiv besser als nichts.

Aber der Goldstandard ist Wissenschaft. Wenn die Wissenschaft in hoher Qualität geführt wird und klare Antworten auf einige Fragen gibt – das ist die Antwort, mit der ich jedes Mal gehen würde. Und wenn Ihnen die richtige Antwort wichtig ist, sollten Sie versuchen, die Wissenschaft aufzuspüren.

• Zeit, deine Kindheit Dämonen hinter dir zu setzen?
• Von Brüdern und Puppen oder wie Prinzessin Leia mein Leben rettete
• Der Größenwandel schadet uns zu viel: Fat Shaming muss aufhören
• Hast du einen inneren Taskmaster? Woran erkennst du das?

Würden Sie Ihr Leben lieber auf der Grundlage Ihres 95-jährigen Urgroßvaters führen, der jeden Tag 3 Packungen geraucht hat, bis er schließlich getreten hat, oder auf dem Berg der Beweise, dass Rauchen ein viel höheres Risiko für allerlei schreckliche Krankheiten und einen früheren Tod bedeutet? Natürlich macht das nur Sinn, wenn die Wissenschaft gesund ist …

Also hier ist der Blick von unter der Haube …

Der umstrittene Fiske Essay

Dies ist mein zweiter Beitrag, inspiriert von einem kontroversen, sogar aufrührerischen Essay eines bedeutenden Sozialpsychologen. (Gehen Sie hier zum ersten Eintrag).

In diesem Aufsatz, der als Aufruf zu mehr Zivilklugheit in der wissenschaftlichen Kritik formuliert wurde, schlug die ehemalige Präsidentin der Vereinigung für psychologische Wissenschaft, Susan Fiske, Online-Kritiker der psychologischen Wissenschaft ein und nannte sie alle möglichen scheußlichen Namen wie "Bully "Und" methodologischer Terrorist. "

In diesem Beitrag rekapituliere ich den zutiefst dysfunktionalen wissenschaftlichen Kontext, aus dem Fiskes Aufsatz hervorgegangen ist. Es gibt einen militärischen Begriff, beginnend mit "Cluster" und gefolgt von dem Wort mit vier Buchstaben für eine Operation, in der mehrere Dinge gleichzeitig schlecht gelaufen sind, einmal von Jon Stuart in der Daily Show popularisiert. Es trifft wohl gut auf den aktuellen Stand der Sozialpsychologie zu.

WAS IST MIT PSYCHOLOGISCHER WISSENSCHAFT VERSCHWERTET?

Die Replikationskrise

Manchmal werden die Probleme in der Sozialpsychologie als "Replikationskrise" bezeichnet, weil:

1. Viele von uns glauben, dass wir kürzlich entdeckt haben, dass ein großer Teil unserer veröffentlichten empirischen Literatur nicht repliziert. Alle Arten von berühmten, niedlichen und kontraintuitiven Befunden wurden Replikationsfehlern unterzogen. Siehe "Die meisten veröffentlichten sozialpsychologischen Ergebnisse" für weitere Details. Gegen Ende dieses Beitrags gebe ich eine Liste – eine sehr lange Liste – von Phänomenen oder Erkenntnissen, von denen viele ziemlich berühmt waren und in Mainstreammitteilungen gespritzt wurden, weil sie erstaunlich waren !!! bei denen es zu fehlerhaften Nachbildungen oder anderen Zweifelsquellen gekommen ist.

2. In der Sozialpsychologie gibt es jedoch nicht einmal einen Konsens darüber, was als erfolgreiche versus misslungene Replikation "zählt". Als beispielsweise das Open Science Framework (OSF) in vielen sozialpsychologischen Studien Multi-Site-Replikationsversuche durchführte, schätzten sie die Replikation auf unterschiedliche Weise und ermittelten je nach Kriterium zwischen 25% und 50%.

Gilbert et al (2015) argumentierten für verschiedene Standards und folgerten, dass fast 85% repliziert wurden.

Simonsohn (2016) argumentierte, dass beide falsch lagen.

Ich werde dieses Problem nicht "lösen"; Mein Hauptpunkt hier ist, dass Sozialpsychologen sich nicht einmal darauf einigen können, was als Replikation gilt. Bis wir auf diesem Gebiet eine Art Konsens in dieser Frage erreichen, werden wir zu endlosem innerem Streit darüber kommen, was repliziert und was nicht, und was das alles bedeutet.

* Und mit "wir" meine ich sozialpsychologische Forscher. Wenn wir zu diesen Themen keinen Konsens haben, könnten wir tangentialerweise ein wenig toleranter gegenüber Laien sein, die unseren manchmal hohen Ansprüchen nicht unbedingt immer glauben.

Unabhängig davon, was man von der OSF-Replikationsstudie hält, glauben viele Sozialpsychologen, dass es ein Replikationsproblem gibt, und das aus gutem Grund. Viele Sachen replizieren sich nicht. Ich habe wiederholt in Psych Today über dieses Problem geschrieben:

Siehe meine zwei Unicorns Blogs (Social Psych Unicorns und Unicorns of Social Psych) und meinen neueren Eintrag mit dem Titel "Sind die meisten publizierten Ergebnisse der Sozialpsychologie falsch?". Spoiler: Ich bezweifle, dass die Antwort "ja" ist, aber es ist sehr schwer sicher zu wissen. Und es ist noch schwieriger zu wissen, welche Ergebnisse in unserer langen Geschichte der Forschungsveröffentlichung wahrscheinlich robust und gültig sind und welche völlig falsch, nicht völlig falsch, aber zu stark übertrieben sind und auf die wir wirklich hinweisen können.

Allerdings ist "Replication Crisis" eine Fehlbezeichnung, weil sie sich zu sehr auf gescheiterte Replikationen als Bedrohung für die sozialpsychologische Wissenschaft konzentriert. Fehlgeschlagene Replikationen sind eine Bedrohung und eine große. Aber…

Die Validitätskrise: Fehlfunktionen in der sozialpsychologischen Wissenschaft gehen weit über gescheiterte Replikationen hinaus

Hier ist eine kurze Auswahl von zusätzlichen Problemen, die die Integrität der sozialpsychologischen Wissenschaft bedrohen und wie sie potentielle und oft sehr reale Probleme schaffen, die die Gültigkeit der Sozialpsychologie untergraben.

Winzige Proben . Statistiken, die mit winzigen Proben berechnet werden, sind bedeutungslos, vergleichbar mit dem Sprichwort: "Wir sind ziemlich sicher, dass die Temperatur morgen zwischen 10 und 100 Grad Fahrenheit liegen wird". Die Zimbardo Prison Study ist vielleicht eines der berühmtesten Beispiele für eine Studie, die aufgrund einer winzigen Stichprobe von 24 Teilnehmern sehr intensiv publiziert wurde.

Und hier ist ein Leckerbissen, der wirklich wirklich verrückt ist. Eine kürzlich von den Wissenschaftsreformern Chris Fraley und Simine Vazire (Gründer der Gesellschaft zur Verbesserung der psychologischen Wissenschaft) durchgeführte Studie fand heraus, dass die prestigeträchtigsten und einflussreichsten Zeitschriften der Sozialpsychologie diejenigen sind, die "alle" (im Feld) lesen und welche haben riesige Impact Factors und Zitationsindizes – durchschnittlich kleinere Stichprobenumfänge als die weniger prestigeträchtigen und wirkungsvollen Zeitschriften. Wen interessiert das? Studien mit kleinen Proben führen zu weniger glaubwürdigen Ergebnissen als solche mit größeren Proben. Man könnte meinen, dass die "besseren" wissenschaftlichen Zeitschriften Garanten für qualitativ hochwertige Wissenschaft sind. Aber wenn Sie das dachten, würden Sie sich irren (was nicht heißen soll, dass alles, was dort veröffentlicht wird, schlecht ist, nur dass sie häufig versagten, eine der wichtigsten und offensichtlichsten Quellen der Wissenschaft zu verteidigen, die gut ist).

Vor 10 Jahren hätte ich geschrieben: "Du kannst mich jetzt erschießen" – aber gerade wegen der Beweise und Befürwortung von Reformern wie Fraley und Vazire werden die Dinge tatsächlich besser (genau wie ein Blog) für einen anderen Tag, aber eine einfache Änderung ist, dass viele Zeitschriften erfordern größere Stichprobengrößen).

Nicht repräsentative Stichproben. Wir ziehen oft zu Unrecht Schlussfolgerungen über "Menschen", basierend auf Teilnehmern, die eindeutig nicht "die ganze Menschheit" repräsentieren. Normalerweise sind sie nicht repräsentativ für irgendeine bekannte Gruppe, nicht einmal College-Studenten (sie können College-Studenten sein, ohne Vertreter von College-Studenten zu sein in der gleichen Weise, wie Sie aus Iowa kommen können, ohne Vertreter von Iowans zu sein).

P-Hacking und fehlende Transparenz . Manchmal führen wir eine Menge Statistiken durch, wählen die aus, die sagen, was wir wollen, und erstellen eine überzeugende Geschichte. Dies wurde "p-hacking" genannt, um die Ideen einzufangen, die Forscher absichtlich oder nicht, manchmal "hacken" ihren Weg zum Heiligen Gral der "statistischen Signifikanz", die in der Regel notwendig ist, um ein Papier veröffentlicht zu bekommen. Das heißt, wir führen unsere Statistiken manchmal wie ein Bogenschütze, der einen Pfeil schießt, und zieht dann ein Ziel mit dem Pfeil im Bullseye überall hin, wo der Pfeil landet. Der Garten der Verzweigungspfade nimmt die Idee auf, dass es viele Möglichkeiten gibt, die Daten zu analysieren, und wir berichten nur eine Teilmenge, die uns dahin bringt, wohin wir gehen wollen (vorzugsweise eine Veröffentlichung in einer angesehenen Zeitschrift).

Cronyism . Wissenschaftler sind zuweilen voreingenommen zugunsten der Arbeit ihrer Freunde und derzeitigen und ehemaligen Studenten.

Suboptimale Statistiken Die Arbeitsstatistiken in der Psychologie beantworten meist nicht die Frage, die Forscher normalerweise beantworten wollen. Normalerweise wollen Forscher wissen: "Ist meine Theorie oder Hypothese richtig oder zumindest richtiger als bekannte Alternativen?" Die Statistiken, die die meisten von uns verwenden, beantworten die folgende Frage: "Wie wahrscheinlich ist die Beziehung oder Differenz, die ich erhalten habe? aufgetreten, oder eine noch größere (extremere), wenn die Nullhypothese wahr ist? "(die Nullhypothese besagt normalerweise, dass es in der größeren Bevölkerung überhaupt keine Wirkung oder Beziehung gibt). Wenn sich das für Sie verfängt und Sie ihm nicht folgen können, seien Sie nicht zu aufgeregt. Es ist verschachtelt. Um zu der Schlussfolgerung zu kommen: "Eureka, meine Hypothese ist bestätigt!", Wird die Logik noch komplizierter. Das liegt daran, dass die Logik gefoltert werden muss, damit die Statistiken so aussehen, als würden sie sagen: "Meine Hypothese ist bestätigt!", Wenn sie das nicht tun.

Publikationsverzerrungen. Journale und Forscher benötigen normalerweise empirische Studien, um vor der Veröffentlichung einen statistischen Heiligen Gral zu erreichen ("statistische Signifikanz", auch bekannt als "p <.05 " ). Für die statistisch nicht Initiierten fragen Sie sich vielleicht, was zur Hölle p <.05 ist? Es bedeutet, dass es weniger als 5% Chance gibt, dass diese Daten oder Daten extremer auftreten würden, wenn die Nullhypothese wahr wäre. "Was ist die" Nullhypothese? "Es ist die Hypothese, dass es überhaupt keine Auswirkungen auf die eigenen gibt experimentelle Bedingungen oder Intervention, oder dass zwischen zwei Variablen überhaupt keine Beziehung besteht. So wäre zB eine "Nullhypothese": "Das Vertrauen ist nicht mit der Leistung korreliert."

P <.05 wurde schon lange als "Eureka, my amazing!" weltverändernd !! Hypothese ist bestätigt! "und Zeitschriften waren selten daran interessiert, unbestätigte Hypothesen zu veröffentlichen. Eine Konsequenz daraus ist, dass die publizierte Literatur häufig die Macht sozialpsychologischer Prozesse und Hypothesen übertreibt. Denk darüber nach. Wenn nur "starke" (p <.05) Effekte veröffentlicht werden, werden viele der Effekte nahe Null nicht veröffentlicht. Aber wir müssen über die Effekte nahe Null Bescheid wissen, um die Stärke des untersuchten Phänomens herauszufinden. Aber wir wissen nichts über sie, weil sie nicht veröffentlicht werden.

Mehr Publikationsverzerrungen . Carl Sagan sagte einmal: "Außergewöhnliche Behauptungen erfordern außergewöhnliche Beweise." Denn etwas Außergewöhnliches ist höchst unwahrscheinlich wahr zu sein. Um die berechtigte Skepsis gegenüber einer solchen Behauptung zu überwinden, sollten die Beweise sehr stark sein. Die Sozialpsychologie funktioniert fast völlig gegensätzlich: "Außergewöhnliche Behauptungen erfordern winzige Stichprobengrößen." Das liegt daran, dass die Sozialpsychologie eine merkwürdige Kultur hat, "überraschende" und "kontraintuitive" Ergebnisse zu bewerten. Die Posterkinder für diese Dysfunktionen sind die berüchtigten Priming-Seniorenklischees, die die Replikationskrise auslösen, die zwei Experimente hatten, die jeweils nur 30 Teilnehmer "demonstrierten"; und stereotype Bedrohung, in der die größte Studie (114 Teilnehmer) keine signifikante stereotype Bedrohung hatte, aber eine wurde in Studien mit 40 und 47 Teilnehmern berichtet). Solche Ergebnisse werden als innovativ und kreativ angesehen. Anstatt Forscher auf höhere Beweisstandards zu verpflichten, halten viele solche Studien an niedrigeren Standards fest.

Das Ergebnis ist, dass die sozialpsychologische wissenschaftliche Literatur mit erstaunlichen gespickt sein kann ! kontraintuitiv! Welt verändernd! dramatisch! Ergebnisse , die bestenfalls schwer zu replizieren sind und schlimmstenfalls überhaupt nicht zutreffen. Dies ist die wissenschaftliche Version des alten Sprichwortes: "Wenn es zu gut klingt, um wahr zu sein, ist es wahrscheinlich." Wie viele Befunde beschreibt das? Welche? Niemand weiß es noch.

Storytelling und Overselling . Forscher machen oft außergewöhnliche Behauptungen aufgrund sehr schwacher Beweise. In meinem Buch geht es um Fälle, in denen selbsterfüllende Prophezeiungen und andere Vorurteile routinemäßig als mächtig und allgegenwärtig propagiert werden, obwohl die Beweise zeigen, dass sie schwach, zerbrechlich und flüchtig sind. Stereotype Drohung, in der eine geringfügige situationsbedingte Feinabstimmung behauptet wird, um Rassenleistungslückenunterschiede vollständig zu beseitigen, ist ein anderes Beispiel.

Zweifel an der Bestätigung von Forschern und fragwürdige Deutungspraktiken. Viele in früheren Generationen von Psychologen (Phds erhalten 1970-2010) wurden geschult, um "überzeugende Erzählungen" zu erzählen. Forscher sind so gut darin geworden, diese Geschichten zu erzählen, dass sie dies manchmal tun, ungeachtet dessen, was die Daten sagen. Mein kürzlich erschienener Artikel Interpretationen und Methoden führt ein Beispiel nach dem anderen (nach einem Beispiel nach dem anderen) von sozialpsychologischen Papieren durch, die so überzeugende Erzählungen erzählen, obwohl die Daten diese Erzählungen nicht unterstützen.

Cherrypicking Ergebnisse und Studien , können Forscher oft fast jede Schlussfolgerung, die sie bevorzugen. Alternative Erklärungen werden oft übersehen oder ignoriert; und sind oft lebensfähiger als die veröffentlichten Erklärungen. Manchmal gehen Sozialpsychologen sogar so weit, dass sie behaupten, bestimmte Dinge seien wahr, ohne dass es irgendwelche Beweise gibt (zB Behauptungen, dass Stereotype ungenau sind; Menschen sind ein unbeschriebenes Blatt; standardisierte Tests sind ungültig usw.). Berühmte Studien werden oft viel häufiger zitiert als die fehlgeschlagenen Replikationen derselben Studien, selbst nachdem die fehlgeschlagenen Replikationen veröffentlicht wurden.

Untote Theorien. Einige von uns glauben, dass Fälschung eine zentrale Rolle in der Wissenschaft spielt. Einige von uns glauben, dass sich wissenschaftlicher Fortschritt darin widerspiegelt, alte, schlechte oder suboptimale Theorien durch bessere und gültige zu ersetzen. Es ist jedoch fast unmöglich, irgendeine sozialpsychologische Theorie "falsch" oder gefälscht zu erklären. Einige mögliche Gründe für diesen bizarren Stand wissenschaftlicher Angelegenheiten finden sich hier: "Ist es beleidigend, einen psychologischen Anspruch auf Unrecht zu erheben?"

Statusabweichungen Psychologen verhalten sich manchmal wie jene von uns mit benannten Lehrstühlen, und die Ernennungen der Ivy League garantieren mehr Stimmen, Aufmerksamkeit und Glaubwürdigkeit – und Zugang zu Publikationen und Finanzierungsstellen – als diejenigen von uns ohne solchen Status. Aber die Wissenschaft sollte sich um die Qualität der Daten und nicht um den Status der Autoren kümmern.

Politische Vorurteile. Lange Zeit war die Sozialpsychologie ein Club für Menschen mit linken politischen Ansichten. Dies hat einige Gelehrte von der Fachwelt vertrieben, und es hat Schlussfolgerungen in politisierten Themen verzerrt.

IST SOZIAL PSYCHOLOGISCHE WISSENSCHAFT UNSOUND?

Die kurze Antwort ist … niemand weiß es. Manche sind es wahrscheinlich; einige sind sicher in Ordnung, und wir haben derzeit wenig oder keine Übereinstimmung darüber, wie wir herausfinden sollen, welches was ist. In der Tat ist es wahrscheinlich die falsche Frage. Die richtige Frage, oder zumindest eine bessere Frage, ist: Welche sozialpsychologischen Befunde sind stichhaltig und gültig und welche nicht?

Jedes der folgenden Ergebnisse oder Schlussfolgerungen wurde einmal weithin akzeptiert. Sie stehen jetzt alle unter einer Wolke, weil sie entweder

• Bekannt als falsch, übertrieben oder falsch dargestellt
• Betreff Fehlgeschlagene Replikationen
• Oder ihre Schlussfolgerungen sind zweifelhaft, oder sonst zweifelhaft.

Wenn Sie mit keinem dieser Forschungsgebiete vertraut sind, können Sie mehr herausfinden:

1. Themen mit Links zu meinen Blogs oder Zeitungen, die sie diskutieren.

2. Für nicht verlinkte Themen können Sie eine Google-Suche für dieses Thema durchführen + "Replikation" oder "Replikationsfehler" oder "Reproduzierbarkeit", und Sie werden normalerweise das ursprüngliche Ergebnis und die Quelle des Zweifels finden können.

• Stereotype Bedrohung
• alle Arten von Priming-Studien
• Top-Down-Einflüsse auf die Wahrnehmung
• massive Voreingenommenheit in der Wahrnehmung eines Fußballspiels
• die Macht der Situation
• Klimaskeptiker glauben bizarre Verschwörungstheorien
• Konservative leugnen Umweltwirklichkeiten
• Konservative sind voreingenommener als Liberale im Allgemeinen
• selbsterfüllende Prophezeiungen sind mächtig und allgegenwärtig
• Stereotype sind die Standardgrundlage und starke Verzerrer der Personenwahrnehmung
• Stereotypen sind ungenau
• Power-Posing (expansive nonverbale Haltungen haben einen außergewöhnlichen Einfluss auf das Selbstvertrauen und darauf, wie andere dich wahrnehmen)
• so genannte "weise" Interventionen erhöhen die Leistung oder die Wahlbeteiligung
• demografische Lücken ergeben sich aus Diskriminierung
• Werte über 0 auf der Vorurteil-Version des impliziten Assoziationstests sind inegalitary
• implizite Voreingenommenheitsmassnahmen sagen Diskriminierung besser voraus als explizite Maßnahmen
• Stereotype führen zu ihrer eigenen Bestätigung
• Ego-Erschöpfung
• die faciale Feedback-Hypothese
• Himmikane
• große Teile der sozialen Neurowissenschaften
• und wahrscheinlich viel mehr, die ich nicht aufgelistet habe.

Die Kontroversen darüber, ob Sozialpsychologie um uns herum zusammenbricht, haben die Leidenschaften der Wissenschaftler entzündet. Das sind manchmal rechtschaffene Leidenschaften, manchmal sogar selbstgerechte und beleidigende Leidenschaften, was Wissenschaft ist, was zählt, wer gute Wissenschaft macht und wer nicht. Das ist der wissenschaftliche Kontext, aus dem Fiskes Essay mit seinen Anklagepunkten der Unschädlichkeit hervorging.