Wann kann psychologische Wissenschaft geglaubt werden?

Die meisten meiner Beiträge haben sich bisher mit Problemen der Psychologie als Wissenschaft auseinandergesetzt: Replizierbarkeitsprobleme, fragwürdige Forschungspraktiken, politische Vorurteile und Probleme der Interpretation und Glaubwürdigkeit. Und ich denke, dass das Verständnis von Einschränkungen und Problemen mit der psychologischen Wissenschaft unglaublich wichtig ist.

Gleichzeitig habe ich nie psychologische Forschung als Koje deklariert, angedeutet oder beabsichtigt. Es gibt eine Menge guter Forschung dort draußen. Die Frage lautet also: "Woher weiß man, wann man einige Behauptungen von Psychologen ernst nimmt?"

Obwohl dies keine einfache Frage ist, möchte ich hier einige nützliche Hinweise geben, wie man wann und ob man Wissenschaft im Allgemeinen, psychologische Wissenschaft im Speziellen und Ansprüche, die angeblich auf Wissenschaft basieren, ernst nimmt.

I. Was ist der Anspruch? Ist der Anspruch "Wir haben X gefunden" oder ist der Anspruch "X ist wahr"? "Wir fanden X" ist wahrscheinlich eine Beschreibung des Ergebnisses einer bestimmten Studie. Forscher interpretieren manchmal ihre eigenen und die anderer Studien falsch, aber zumindest "Wir haben X gefunden" ist eine enge Behauptung. Entweder hat die Studie X gefunden oder nicht. "X ist wahr" ist viel extremer. X könnte wahr sein, aber zu glauben, dass X wahr ist, erfordert einen viel höheren Beweisstandard als erforderlich ist, um zu glauben "Sie haben X gefunden".

• Aufbau der Selbstachtung Ihrer Tochter
• Väter und Familie Storytelling: Ein natürlicher Fit
• Genug mit Evolutionsbiologie: Follow-Up
• Racial Profiling und ein Missverständnis der Wahrscheinlichkeit
• Das ideale Alter, um ein Baby zu haben

Hier ist warum:

II. Glauben Sie niemals als "allgemein wahr" irgendeine Schlussfolgerung aus einer einzigen Studie. Einzelne Studien können aus unzähligen Gründen zu falschen oder irreführenden Ergebnissen führen.

UND

• Frauen, die andere Frauen hassen: Die psychologische Wurzel von Snarky
• Psychologie der Filmzitate – Teil 3: Kräfte von Alter und Geschlecht
• Wer hätte das gedacht? Mit dem Alter kommt … Glück!
• Bisexualität: Endlich aus dem Schrank?
• Wie Pee-Wee Football kann Männer Beziehungsfähigkeiten verbessern

III. Glaube niemals als "allgemein wahr" irgendeine Schlussfolgerung, die von einem einzelnen Forscher oder Forscherteam ausgeht.

Siehe meine früheren Beiträge zu den Punkten II und III:

Nichtwissenschaftliche Einflüsse auf die Sozialpsychologie

Einhörner der Sozialpsychologie

Sieben Gründe, warum Sie der Wissenschaft misstrauen sollten

Die wissenschaftliche Kritik der (meist) psychologischen Wissenschaft

IV. Wenn ein Ergebnis in einer einzigen Arbeit berichtet wird, sollte es als "Oh, das ist interessant, ich frage mich, ob es tatsächlich wahr ist" behandelt werden, aber nicht als "Tatsache". Natürlich ist das Ergebnis Tatsache (außer die Forscher begangen Betrug was sehr unwahrscheinlich ist). Aber das bedeutet nicht, dass das Phänomen, das sie gefunden haben, oder die Schlussfolgerungen, die sie getroffen haben, gerechtfertigt oder wiederholbar sind.

V. Wenn ein Ergebnis von fünf oder mehr unabhängigen Forscherteams gefunden wurde, ohne dass Fehler oder Qualifikationen aufgetreten sind, ist dies in der Regel sehr glaubwürdig. Natürlich könnte immer etwas systematisch falsch mit dem gesamten Feld sein, und jemand könnte das eines Tages entdecken. Wenn das passiert, sollte man offen dafür sein, seine Schlussfolgerung zu ändern. Die Wissenschaft unterscheidet sich von der Religion darin, dass Religion angeblich mit "ewigen" Wahrheiten handelt. Es gibt keine inhärent ewigen Wahrheiten in der Wissenschaft, weil es immer möglich ist, dass neue Daten ans Licht kommen, die unseren Glauben verändern.

VI. Auch meine Kriterien von "fünf" Forscherteams sind willkürlich. Eine vernünftige Person könnte eine höhere oder niedrigere Nummer wählen. Für mich jedoch, wenn fünf getrennte Teams etwas finden und es keine Forschung gibt, die diesen Ergebnissen widerspricht, bin ich normalerweise ziemlich überzeugt, es sei denn, ich sehe etwas systematisch Problematisches.

Hinweis: "Unabhängige Teams" sind Teams, die nicht miteinander verbunden sind. Eine Studie von Dr. X, zwei Wiederholungen von Dr. Xs Postdoktoranden und zwei weitere von Dr. Xs ehemaligen Studenten, zählen NICHT.

VII. Suche Meta-Analysen! (Meta-Analyse ist eine Reihe von Techniken zum Kombinieren von Ergebnissen aus vielen Studien, zum Teil, um zu sehen, ob dort wirklich ein da ist, und wenn ja, wie groß ist es). Wenn in einem Bereich viel geforscht wurde, liefern Meta-Analysen normalerweise EXZELLENTE Zusammenfassungen, wie groß oder klein irgendein Phänomen ist. Zum Beispiel scheinen viele Sozialpsychologen zu glauben, dass Geschlechterstereotyp-Verzerrungen (wenn sie einzelne Männer und Frauen beurteilen) groß, mächtig und allgegenwärtig sind (siehe mein Buch für zahlreiche Beispiele). Swim et al. Stellten jedoch fest, dass Geschlechterstereotypverzerrungen im Durchschnitt zu den kleinsten Effekten in der Sozialpsychologie gehören, die zu einer Korrelation (zwischen dem Zielgeschlecht und der Wahrnehmungsbeurteilung) von r = 0,04 gemittelt werden.

VIII. Geben Sie Studien mehr Glaubwürdigkeit, wenn sie wahrscheinlich nicht gehackt wurden. Halten Sie Ihre Augen offen für Hinweise auf P-Hacking. P-Hacking tritt auf, wenn Forscher ihre Daten verdrehen, verzerren, frittieren, grillen, braten und marinieren, um eine Analyse zu erstellen, die den wissenschaftlichen Heiligen Gral von p <.05 erreicht, um veröffentlicht zu werden. Bekannte p-hackende rote Flaggen: Kleine Stichprobengrößen, besonders mit ungewöhnlich großen Effekten, Verwendung von Kovariaten, verworfenen Teilnehmern, "süßen" und "kontraintuitiven" Befunden. Nur weil ein Bericht diese roten Flaggen enthält , heißt das nicht, dass sie p-hacking betreiben. Aber sie haben es eher getan, als wenn der Bericht solche roten Fahnen nicht enthält. Berichte ohne solche roten Fahnen sind glaubwürdiger.

IX. In politisierten Bereichen der psychologischen Forschung sollten Sie auf das Potenzial politischer Verzerrung achten, um die Theorie, die Methoden und die Interpretationen zu verzerren. Die meisten Psychologen sind Liberale. Im Allgemeinen sind Liberale nicht mehr und möglicherweise weniger voreingenommen in der Sichtweise der Wissenschaft als Konservative. Es gibt jedoch so wenige Konservative in der Psychologie, dass "konservative Voreingenommenheit", wie sehr sie auch in der weiteren Welt existiert, in der psychologischen Wissenschaft kaum existiert. Liberale Voreingenommenheit ist jedoch am Leben und gesund. Achten Sie auf Forschungsagenden, die von ideologischen Agenden inspiriert und angetrieben werden. In guter Wissenschaft treibt eine Frage nach dem menschlichen Funktionieren die Forschung an; In der voreingenommenen Wissenschaft ist der Nachweis einer liberalen Weltanschauung "besser" oder "gerechtfertigt" die Wissenschaft.

Ausgewählte Referenzen

Jussim, L. (2012). Soziale Wahrnehmung und soziale Realität: Warum Genauigkeit dominiert Voreingenommenheit und sich selbst erfüllende Prophezeiung. New York: Oxford Universitätspresse.

Simmons, JP, Nelson, LD & Simonsohn, U. (2011). Falsch-positive Psychologie: Nicht offengelegte Flexibilität bei der Datensammlung und -analyse erlaubt es, etwas als signifikant darzustellen. Psychologische Wissenschaft, 22, 1359-1366.

Swim, J., et al. (1989). Joan McKay vs John McKay: Verfälschen Geschlechterstereotypen Bewertungen? Psychologisches Bulletin, 105, 409-429.