Psychologie mit unangemessenen Forschungsergebnissen

Der Fall eines niederländischen Psychologen, der seit mindestens einem Jahrzehnt Experimente aus ganzem Stoff fabriziert, rückt systemische Fehler in der Berichterstattung psychologischer Forschung ins Rampenlicht.

Diederik Stapel, ein bekannter und weit verbreiteter Psychologe in den Niederlanden, fälschte routinemäßig Daten und erfand laut einem Untersuchungsausschuss ganze Experimente.

Aber laut Benedict Carey von der New York Times ist der Skandal nur eine von vielen Peinlichkeiten in "einem Bereich, den Kritiker und Statistiker schlecht überarbeiten müssen, wie er Forschungsergebnisse behandelt":

In den letzten Jahren berichteten Psychologen über eine Reihe von Befunden zu Rassenverzerrungen, Bildgebung im Gehirn und sogar übersinnlicher Wahrnehmung, die keiner genauen Überprüfung standhalten konnten.

• Medizinische Professionalität gegen Kommerzialisierung
• Ist der Tod besser als ein Pflegeheim?
• "Cat Wars" fordert zum Töten von freilaufenden Katzen
• Was tun, wenn Ihr Kind sagt: "Ich bin Homosexuell!"
• Übertreibst du Sticks beim Herunterspielen von Karotten?

Dr. Stapel konnte so lange operieren, sagte das Komitee, größtenteils weil er "Herr der Daten" war, die einzige Person, die die experimentellen Beweise sah, die gesammelt (oder erfunden) worden waren. Dies ist ein weit verbreitetes Problem in der Psychologie, sagte Jelte M. Wicherts, ein Psychologe an der Universität von Amsterdam. In einer aktuellen Umfrage gaben zwei Drittel der niederländischen Forschungspsychologen an, dass sie ihre Rohdaten nicht anderen Forschern zur Verfügung stellten. "Dies verstößt gegen ethische Regeln, die in diesem Bereich eingeführt wurden", sagte Dr. Wichert.

In einer Umfrage unter mehr als 2.000 amerikanischen Psychologen, die in diesem Jahr veröffentlicht werden sollen, fanden Leslie John von der Harvard Business School und zwei Kollegen heraus, dass 70 Prozent anonym eingeräumt hatten, dass sie einige Ecken bei der Berichterstattung bereinigen. Ungefähr ein Drittel sagte, sie hätten von Anfang an einen unerwarteten Befund gemeldet, und etwa ein Prozent gab zu, Daten gefälscht zu haben.

Ebenfalls üblich ist eine eigennützige statistische Schlamperei. In einer Analyse, die in diesem Jahr veröffentlicht wurde, suchten Dr. Wicherts und Marjan Bakker, ebenfalls an der Universität von Amsterdam, eine Stichprobe von 281 psychologischen Papieren für statistische Fehler. Sie fanden heraus, dass etwa die Hälfte der Artikel in High-End-Zeitschriften statistische Fehler enthielten und dass etwa 15 Prozent aller Papiere mindestens einen Fehler aufwiesen, der einen berichteten Befund änderte – fast immer im Widerspruch zur Hypothese der Autoren ….

• Eine Nation heilen
• Die Top-10-Beziehungswörter, die nicht ins Englische übersetzt werden können
• Schnelle Takes
• Spinoza und die Ochsen
• Ein gefährlicher Film?

Forensische Implikationen

Während ungenaue und sogar fabrizierte Befunde das Gebiet der Psychologie albern aussehen lassen, nehmen sie in forensischen Kontexten möglicherweise weit ernstere Konsequenzen an, wo die Einsätze sechsstellige Auszahlungen oder extreme Freiheitsberaubung beinhalten können.

Zum Beispiel werden Behauptungen, die auf fMRI-Gehirn-Scan-Studien basieren, zunehmend sowohl in kriminellen als auch in zivilen Kontexten zugelassen. Dennoch fand eine Analyse von 2009 heraus, dass etwa die Hälfte solcher in führenden wissenschaftlichen Zeitschriften veröffentlichten Studien so "ernsthaft fehlerhaft" waren, dass sie der Voodoo-Wissenschaft gleichkamen , die "nicht geglaubt werden sollte".

In ähnlicher Weise haben Forscher Jay Singh und Kollegen herausgefunden, dass Metaanalysen, die die Wirksamkeit von Instrumenten zur Vorhersage von zukünftigen Gewaltausbrüchen belegen, mit Problemen behaftet sind, einschließlich fehlender adäquater Beschreibung von Studiensuchverfahren, fehlender Überprüfung auf überlappende Stichproben oder Publikationsbias, Versagen der Untersuchung der Verwechslung von Probenheterogenität und Verwendung einer problematischen statistischen Technik, der Fläche unter der Kurve (AUC), um die Vorhersagegenauigkeit zu messen.

Besonders beunruhigend für mich ist eine brandneue Studie, in der festgestellt wird, dass die Bereitschaft der Forscher, ihre Daten zu teilen, direkt mit der Stärke der Evidenz und der Qualität der Berichterstattung statistischer Ergebnisse korreliert. (Die Analyse ist online im Journal PloS ONE verfügbar.)

Ich habe von mehreren Forschern auf dem Gebiet der Risikobewertung von Sexualstraftätern gehört, die sich hartnäckig den Bemühungen anderer Forscher widersetzen, ihre Daten für eine erneute Analyse zu beschaffen. Wie von Dr. Wicherts, dem Psychologen der Universität von Amsterdam, festgestellt wurde, ist dies ein Verstoß gegen ethische Regeln. Vor allem macht es uns unmöglich, hinsichtlich der Zuverlässigkeit und Gültigkeit der Behauptungen dieser Forscher zuversichtlich zu sein. Trotzdem werden routinemäßig potentiell unzuverlässige Instrumente – einige von ihnen werden nicht einmal veröffentlicht – vor Gericht eingeführt, um zukünftige Gefährlichkeit festzustellen.

Kritiker sagen, dass die weitverbreiteten Probleme in diesem Bereich die Notwendigkeit verpflichtender Reformen stark unterstützen, einschließlich der Festlegung von Strategien, nach denen die Forscher ihre Daten archivieren müssen, um sie für die Inspektion und Analyse durch andere verfügbar zu machen. Diese Reform ist wichtig für die Glaubwürdigkeit der Psychologie im Allgemeinen, aber absolut unerlässlich in der forensischen Psychologie.