Der P-Hack Rap

Wie man psychologische Wissenschaft einen Hip Hop Song auf einmal verbessert

Dies ist ein Gastbeitrag von Daniel Rosenfeld, einem Bachelor-Psychologie-Major und Lab Manager an der Cornell University. Seine Forschung konzentriert sich auf Essenswahl, Moral und Identität, mit einem besonderen Schwerpunkt auf Vegetarismus.

Wenn du lieber direkt zum Rap kommst, gibt es ein aktuelles Youtube-Video eines aktuellen Rap, The P-Hack Rap, etwa 3/4 runter.

————-

Ich bin Student im Grundstudium. Ich habe nur zwei Jahre Erfahrung in der Durchführung psychologischer Forschung. In dieser kurzen Zeit habe ich jedoch eine immense Wertschätzung für den weiten Umfang, die bedeutsamen Errungenschaften und praktischen Implikationen der psychologischen Wissenschaft entwickelt. Aber ich habe auch von wissenschaftlicher Reproduzierbarkeit erfahren – und ich bin ziemlich besorgt.

• Medikamente sind nicht das Ende aller Leiden
• Levelling the Mental Health Counseling Rassenspielfeld
• Schule Shootings und Waffenkontrolle: Ein Fokus auf Selbstmord
• Stigma umgibt HIV-positive Kinder in China
• “Versteckte Kräfte und Essenzen” Psychologie als Magie

Die Replikationskrise

Quelle: Lee Jussim

• Der junge Karl Marx
• Neues oder nicht verwaltetes HIV kann ein Symptom für eine schlechte psychische Gesundheit sein
• Habe ich einen Akzent? Stört dich das?
• Über die Schwangerschaft gestresst? Sei nicht!
• “Wie ein Mann?” “Wie eine Frau?”

Ich bin besorgt darüber, wie wir als Feld eine aufstrebende Generation von Gelehrten ausbilden werden. Ich bin besorgt, dass bewundernswerte Bemühungen zur Lösung einer “Replikationskrise” nicht genügend Laien erreichen werden, einschließlich anderer Studenten. Ich bin besorgt, dass die heutigen aufstrebenden Psychologen viele der Gespräche verpassen werden, die die Zukunft ihrer Disziplin prägen werden.

Gleichzeitig bin ich optimistisch. Im vergangenen Semester habe ich ein Seminar zu Chris Chambers ‘The Seven Deadly Sins of Psychology absolviert und methodologische, statistische und ethische Dilemmata in der psychologischen Forschung diskutiert. Ich lernte etwas über aufkommende Bewegungen hin zu offener Wissenschaft – die auf vielfältige Weise versucht, die psychologische Wissenschaft aus den Schatten proprietärer Forschungslabore zu bringen (wo die ursprünglichen Hypothesen, Post-hoc-Geschichten, Praktiken, statistische Entscheidungen und vollständige Methoden) (hinter verschlossenen Türen, die nur dem Labor bekannt sind) und ins Tageslicht (wo alle sehen können – und vor allem nach Fehlern und Verzerrungen suchen und versuchen, mit Methoden zu replizieren, die der ursprünglichen Studie nahe kommen). Eine solche Praxis ist die Voranmeldung. Die Vorregistrierung beinhaltet, dass die Forscher ein schriftliches Dokument vorbereiten, in dem ihre ursprünglichen Hypothesen und geplanten Analysen identifiziert werden. Es ist wichtig, weil die Vorregistrierung die gesamte Palette der Verfahren viel transparenter und manchmal auch öffentlich verfügbar macht. Sie macht transparent, welche Hypothesen a priori getestet wurden und welche explorativ waren, um es den Konsumenten dieser Forschung (einschließlich anderer Wissenschaftler) zu ermöglichen, besser zu wissen, welche Befunde glaubwürdiger sind und welche eher versuchsweise sind.

P-Hacking: Die Suche nach “statistischer Signifikanz”

Ich habe gelernt, dass wir – als Individuen und als ein Feld – dringende Fragen angehen können, die die wissenschaftliche Gültigkeit gefährden, indem wir normative Wege der Forschung revidieren. Hier möchte ich meine Sicht auf ein Thema, das in meinem Seminar ausführlich diskutiert wurde, mit anderen teilen: das Konzept des “p-hacking”.

Quelle: Lee Jussim

Für Laienleser: das “p” in p-Wert bedeutet Wahrscheinlichkeit, und eins unter .05 wird typischerweise als “statistisch signifikant” bezeichnet. P-Werte werden normalerweise erhalten, wenn Forscher experimentelle Bedingungen vergleichen oder Korrelationen berechnen. Ohne zu sehr ins Detail zu gehen, wenn alle Arten von Annahmen getroffen werden, ist ein p-Wert die Wahrscheinlichkeit, eine beobachtete Differenz oder Korrelation (oder eine noch größere) zufällig zufällig zu finden, wenn es wirklich (draußen in der weiteren Welt) ist kein Unterschied oder keine Korrelation.

P-Werte unter 0,05 werden oft als “Eureka, meine Ergebnisse sind real!” Angesehen, weil oft fälschlicherweise angenommen wurde, dass “meine Ergebnisse systematisch und gültig sind, nicht zufällig sind!” (Nicht meine all diese Dinge, aber das ist ein Blog für einen anderen Tag). Was jedoch wichtig ist, ist, dass es bis vor kurzem für PsychologInnen fast unmöglich war, ihre Ergebnisse ohne ein p <.05, dh ein "statistisch signifikantes" Ergebnis, zu veröffentlichen. Und natürlich, in der Welt der akademischen Wissenschaft, ist es "publish or perish" – was bedeutet, dass Psychologie-Forscher stark incentiviert sind, statistische Signifikanz zu "erreichen", was einige auf jede mögliche Weise tun. Einige dieser Mittel sind wissenschaftlich fundiert – wie zum Beispiel sehr große Proben zu erhalten; dies "funktioniert", weil große Stichproben mehr statistische "Macht" haben und daher eher zu signifikanten Ergebnissen führen. Aber einige Mittel sind nicht so gesund.

Was uns zum P-Hacking bringt. Stellen Sie sich vor, Sie führen eine Studie durch, um die Wirkung des Lehrbuchlesemodus auf die schulische Leistung zu testen. Sie wählen Schüler aus einem einführenden Psychologie-Kurs aus, lassen sie eine Prüfung ablegen und sortieren sie dann nach dem Zufallsprinzip in zwei Gruppen. Sie weisen die erste Gruppe von Schülern an, alle bevorstehenden Lehrbuchkapitel über das gedruckte Lehrbuch zu lesen und die zweite Gruppe über das Online-Lehrbuch zu lesen. Sie testen eine klare Hypothese: Die Online-Lehrbuchleser zeigen im Laufe eines Monats größere Leistungsverbesserungen.

Nach der Nachuntersuchung analysieren Sie die Daten. Es gab keinen signifikanten Unterschied in der Leistungsänderung zwischen den beiden Gruppen! “Verdammt”, denkst du dir, “Das kann nicht die Geschichte sein. Vielleicht hilft das Lesen eines Lehrbuchs nur Schülern, die weniger als 80% des Durchschnitts der Basisprüfung erreicht haben. “Sie führen also die Analysen erneut durch – dieses Mal mit Ausnahme aller Schüler, die zu Beginn 80% oder mehr erreicht haben – und erzielt ein signifikantes Ergebnis : ein p-Wert von .04. Sie schreiben dies auf und kommen zu dem Schluss, dass unterdurchschnittliche Schüler, die online Lehrbücher lesen, größere akademische Verbesserungen zeigen und Ihr Manuskript zur Überprüfung einreichen.

Es scheint, dass Sie Ihr Studium zur Arbeit gebracht haben – aber nur mit Hilfe von P-Hacking. Umgangssprachlich kann p-hacking als “Kochen der Daten” oder “Quälen der Daten bis zum Geständnis” angesehen werden – es ist kein Betrug, in dem Sinne, dass die Forscher keine Daten zusammenstellen, sondern so viele verschiedene Analysen durchführen Daten, die fast zwangsläufig die Schwelle von 0,05 in “statistische Signifikanz” überschreiten. Wenn p-hacking in der gesamten wissenschaftlichen Literatur üblich ist, können die Grenzen zwischen etablierten Phänomenen und bloßem statistischem Rauschen völlig verschwimmen.

Als ein Feld brauchen wir kreative Wege, um eine aufstrebende Generation von Wissenschaftlern in aktuellen Gesprächen über wissenschaftliche Replizierbarkeit zu gewinnen. Es gibt Bestrebungen, die psychologische Forschung transparenter zu machen, damit Probleme und Fehler leichter identifiziert werden können und damit die Ergebnisse reproduzierbarer werden. Da wir nun sehen, dass Psychologen die vorregistrierten direkten Reproduktionen ihrer Studien in den sozialen Medien von unabhängigen Laboren feiern, können wir viel davon gewinnen, wenn wir die Gelehrten von morgen über die Vorteile einer offenen und soliden Methodologie unterrichten.

Indem ich mein eigenes Engagement in der Forschung mit meiner Leidenschaft für Hip-Hop verbinde, habe ich einen Rap über P-Hacking geschrieben.

Genießen.

Der P-Hack Rap

Versuche, in Zeitschriften zu veröffentlichen

Das hat große Auswirkungen

Aber ziemlich oft, tatsächlich

Methoden sind weit davon entfernt, intakt zu sein

Mit einem P-Hack sehen wir das

Es fehlt uns an geeigneten A-priori-Tests

Aber in einem System, wo es neu ist

Wird als das Beste angesehen

Die Gültigkeit fliegt aus der Tür

Wie testen wir Moderatoren und mehr

Verliere die Realität aus den Augen

Einen Stiefel durch die Tür befürchten

Angst davor, diese Person zu sein

Wer hat einen niedrigen H-Index?

Weil ihre Analysen sauber waren

Mit Stats Moral wie Windex

Stuck, der Nullbefunde erbringt

Nicht an der Bindung kleben

Bedingungen, die definieren

Irgendeine Hypothese jederzeit

Vielleicht löschen Sie diesen Ausreißer

Nur eine, nur um es zu versuchen

Und unwissentlich erliegen

Zur Bestätigung der Bestätigung

Oder man kann mit der Hypothese beginnen

Nach den Ergebnissen sind bekannt

Nur um einen neuen Anspruch zu machen

Das ist in Wirklichkeit übertrieben

Wie ein Fischer im Meer

Man kann sich auf falsche Positive einstellen

Entdecke eine neue Entdeckung

In Wirklichkeit ist es das Gegenteil

Daten suchen, als wäre es eine Goldmine

Versuchen, ein gutes Verdienst zu verdienen

Brauchen Sie weniger als 0,05

Weil es veröffentlicht oder untergeht

Zusammen können wir revidieren

Konventionelle Normen und Systeme

Als ein Feld können wir aufstehen

Zur methodologischen Weisheit

Wir brauchen mehr Transparenz

Um diese Replikationskrise zu übertreffen

Vorurteile überwinden

Wenn unsere eigenen undurchsichtigen Geräte verlassen werden

Die Überarbeitung beginnt mit neuen Visionen

Das entzündet neue Zündungen

Voranmeldung wird offenbaren

All diese Post-hoc-Entscheidungen

—————————

Wenn Ihnen das gefallen hat, könnten Sie auch dieses Gedicht genießen:

Studenten Revenge

Lee Jussim twittert als PsychRabble, und Sie können ihm folgen: https://twitter.com/PsychRabble, wo er Themen der Wissenschaftsreform, Vielfalt, Vorurteile, Stereotypen, Diskriminierung und politische Psychologie behandelt.