Replikation.
Es ist eines dieser geheimnisvollen Worte, die psychologische und psychiatrische Forscher regelmäßig verwenden, aber nur wenige Menschen in der Öffentlichkeit haben davon gehört, geschweige denn verstanden. Wenn ich jedoch eine Liste von 10 Begriffen zusammenstellen müsste, die jeder Laien, der sich für Psychologie interessiert, wissen sollte, dann wäre "Replikation" auf dieser Liste ganz oben. Es bezieht sich auf die Fähigkeit von Forschern, idealerweise unabhängige Forscher, frühere Ergebnisse zu duplizieren. Eine unabhängige Replikation ist besonders wichtig, da ein Untersuchungsteam seine Fehler wiederholt wiederholen kann, was dazu führt, dass fälschlicherweise ein vertrauenswürdiger Befund auftritt.
Replikationen in der Psychologie sind extrem wichtig, vor allem, weil viele interessante Ergebnisse Fluke sind. Erinnern Sie sich an die berühmte Rosenthal und Jacobson "Bloomer" -Studie von 1968, die zeigt, dass die künstliche Induktion positiver Erwartungen bei Schullehrern bei ihren Schülern zu einem höheren IQ führen kann? Viele Menschen, darunter viele gebildete Laien, haben von diesem Befund gehört, aber nur wenige wissen, dass eine ganze Reihe späterer Forscher diese Ergebnisse nur schwer reproduzieren konnten. Der ursprüngliche Rosenthal- und Jacobson-Befund ist entweder nicht robust oder (wahrscheinlicher) klein, insbesondere in der realen Welt, wo Lehrer die Möglichkeit haben, intensiv mit ihren Schülern zu interagieren – was die Erwartungen der Lehrer überschwemmt. Das gleiche Replizierbarkeitsproblem gilt für die Medizin; In einem Artikel aus dem Jahr 2005 fand John Ioannides heraus, dass etwa ein Drittel der Befunde in klinischen Studien in späteren Studien nicht Bestand haben.
Aber es gibt ein Problem mit Replikationen: Sie sind nicht sexy. Für viele scheinen Replikationen wie "alte Nachrichten" zu sein. Die Nachrichtenmedien – die schließlich darüber berichten, was "neu" ist – ignorieren sie oft. Nehmen Sie die extrasensorische Wahrnehmungsliteratur (ESP), in der die Medien routinemäßig jeden Hinweis auf einen positiven Forschungsbefund oder sogar eine unterstützende Anekdote berichten, aber kaum die über 150 Jahre hunderter fehlgeschlagener Replikationen angeblicher psychischer Phänomene erwähnen.
Replikationen sind auch für Redakteure nicht sexy. Zu Beginn meiner Karriere, als ich noch ein Doktorand war, reichte ich (zusammen mit einem Co-Autor) einen Artikel in einer großen psychologischen Zeitschrift ein, der im Wesentlichen eine Replikation und geringfügige Erweiterung früherer Befunde zu den symptomatischen Unterschieden zwischen zwei überlappenden Kindheitszuständen war Aufmerksamkeitsdefizit / Hyperaktivitätsstörung und oppositionelle trotzige Störung. Die Kritiken, die wir erhielten, waren ziemlich positiv, aber der Herausgeber lehnte es zunächst ab, das Papier mit der Begründung zu veröffentlichen, dass unsere Studie "nur" eine Wiederholung eines früheren Befundes sei (um dem Redakteur sein Recht zu geben, war er bereit, überredet zu werden und endete bis zur Veröffentlichung unseres Artikels nach einer gründlichen Überarbeitung). Aber in den meisten Fällen sind Replikationen wahrscheinlich noch wichtiger als der ursprüngliche Befund, denn so viele erste Befunde halten in späteren Untersuchungen nicht stand.
Deshalb hat ein Artikel, der am 17. Juni auf der Titelseite der New York Times erschien, ein Lächeln auf mein Gesicht geworfen. Dies geschah nicht, weil ich eine bestimmte intellektuelle oder persönliche Investition in das Ergebnis habe – ich nicht – sondern weil es eines der ersten Male war, an das ich mich erinnern kann, in dem ein Versäumnis, ein Ergebnis zu replizieren, fast so viel Medienberichterstattung erhielt wie die ursprünglicher Befund. Dieser Artikel, verfasst von dem fähigen New Yorker Times-Psychologen Ben Carey, berichtete, dass ein weithin geprahlter Befund – zuerst von Avshalom Caspi und seinen Kollegen im Artikel aus dem Jahr 2003 in der angesehenen Zeitschrift Science berichtet – nicht gehalten wurde, als 14 andere Studien kombiniert wurden Psychologen nennen dies eine Meta-Analyse, die eine phantastische statistische Technik ist, die es Forschern erlaubt, mehrere Studien zu kombinieren und sie so zu behandeln, als wären sie eine große Studie. Insbesondere im Jahr 2003 hatten Caspi und seine Mitarbeiter herausgefunden, dass eine spezifische Genvariante, die für den Neurotransmitter Serotonin relevant ist, mit dem Lebensstress interagierte, um das Risiko für Depression zu erhöhen. Das heißt, Menschen mit sowohl der Genvariante als auch dem Lebensstress waren besonders depressionsanfällig, so dass die "Wirkungen" von genetischen und Umwelteinflüssen multiplikativ, nicht additiv waren.
Für viele Beobachter war der Caspi-Befund besonders reizvoll, weil er mit populären – und wohl politisch korrekten – Begriffen der "Gen-Umwelt-Interaktion" verzahnt wurde. Er wurde zu einem der am meisten diskutierten und zitierten Befunde in der modernen Psychologie; Zum Zeitpunkt des Schreibens (28. Juni 2009) wurde es in der wissenschaftlichen Literatur ein erstaunliches Jahr 1996 zitiert (im Vergleich dazu ist die modale Anzahl von Zitaten für Zeitschriftenartikel in der Psychologie 0 – ja, null) und wurde weithin begrüßt als unter den signifikanten wissenschaftlichen Erkenntnissen des Jahrzehnts. Die neue Metaanalyse, die vom Genetiker Neil Risch durchgeführt und im Journal of the American Medical Association (JAMA) veröffentlicht wurde, zeigte jedoch, dass der Interaktionseffekt verschwand, wenn die Daten aus anderen Studien mit den ursprünglichen Caspi-Befunden kombiniert wurden. http://jama.ama-assn.org/cgi/content/full/301/23/2462
Natürlich ist es möglich, dass sich dieses negative Urteil im Laufe der Zeit mit neuen Erkenntnissen ändert und dass Caspi und seine Kollegen letztendlich bestätigt werden. Die Schönheit der Wissenschaft ist, dass sie sich auf lange Sicht selbst korrigiert, auch wenn sie auf kurze Sicht oft unordentlich ist. Schließlich wird die Wahrheit in Bezug auf Serotonin-Gene, stressige Lebensereignisse und Depression herauskommen. Aber mit dem Erscheinen des JAMA-Artikels ist der Ball nun im Gericht von Caspi und Kollegen, nicht im Gericht ihrer Kritiker, um zu zeigen, dass ihr Interaktionseffekt keine Illusion war.
Welche Lehren können wir aus dieser Episode ziehen? Wir sollten keinem psychologischen Befund zu viel vertrauen, es sei denn, und bis ein anderes Untersuchungsteam es repliziert hat. Wir sollten uns auch daran erinnern, dass die Nachrichtenmedien selten die Wichtigkeit der Replikation zu schätzen wissen, so dass sie dazu neigen, überraschende Ergebnisse zu verbreiten, bevor andere sie dupliziert haben. Und die Ermittler selbst sollten danach streben, ihre Aufregung über die meisten Erkenntnisse zu beschränken, bis andere sie als zuverlässig erachtet haben. Im Interesse einer vollständigen Offenlegung sollte ich zur Kenntnis nehmen, dass ich möglicherweise schuldig bin, dieses Gebot verletzt zu haben. Bei zwei Gelegenheiten habe ich Ergebnisse von Interaktionen in den Bereichen Persönlichkeit und Psychopathologie veröffentlicht, und meines Wissens hat niemand versucht, sie zu reproduzieren. Rückblickend wünschte ich, ich wäre vorsichtiger gewesen, sie zu berichten, zum Teil, weil (aus einer Vielzahl von statistischen Gründen, mit denen ich Leser nicht langweilen werde) Interaktionen besonders unwahrscheinlich sind, und zum Teil, weil ich seitdem dazu gekommen bin erkennen Sie, wie einfach es ist, sich in die eigenen Ergebnisse zu verlieben – vor allem, wenn sie mit den eigenen Hypothesen übereinstimmen.
Schließlich, als Verbraucher der psychologischen Literatur, sollten wir uns an ein Stück Weisheit erinnern, das mein weiser Ph.D. Mentor, der verstorbene David Lykken, liebte es, etwas zu verabreichen: Im Allgemeinen ist es umso unwahrscheinlicher, dass sich ein psychologischer Befund repliziert. Mit ein paar Ausnahmen hatte David wahrscheinlich Recht, denn je mehr ein Fund dem gesammelten Wissen aus sorgfältig durchgeführten Untersuchungen widerspricht, desto wahrscheinlicher ist es, dass es falsch ist. Natürlich werden sich überraschende Ergebnisse gelegentlich als wahr erweisen, so dass wir bei der Interpretation solcher Befunde zwischen exzessiver Skepsis und übertriebener Aufgeschlossenheit gehen müssen. Aber wenn Lykken richtig ist, kann die Menge an Medienberichterstattung, die ein Ergebnis erhält – was normalerweise seine Widerspenstigkeit widerspiegelt – tatsächlich umgekehrt proportional zu seiner Vertrauenswürdigkeit sein. Vorbehaltsteller
