Über Replikation und psychologische Belastbarkeit

Wie belastbar sind die Menschen für den Verlust eines geliebten Menschen, eine Naturkatastrophe, einen Terroranschlag oder eine andere gefürchtete Erfahrung? Die Frage ist offensichtlich eine wichtige, und lange Zeit wurde angenommen, die Antwort sei: nicht sehr. Zum Teil, weil die klinischen Bevölkerungen in der frühen Forschung vorherrschten, schien es, dass die meisten Menschen eine lange Zeit brauchten, um signifikante Widrigkeiten zu überwinden.

Wir wissen jetzt, dass das nicht wahr ist. Wir wissen es auf der Grundlage einer umfangreichen Literatur, die die Folgen vieler aversiver Ereignisse untersucht (von Terroranschlägen, Militäreinsätzen und Massenerschießungen bis hin zu Trauerfällen, Brustkrebschirurgie, traumatischen Verletzungen und Herzinfarkten).

Die meisten Menschen kommen durch diese Erfahrungen. Sie können einige anfängliche relativ kurzlebige Bedrängnis erfahren, aber sie kehren zu ihrer vorherigen Funktion ziemlich bald zurück, bleiben fähig, positive Gefühle zu erfahren, und behalten die Kapazität für generative Erfahrungen. Mehr als jeder andere hat George Bonanno, Professor am Teachers College der Columbia University, diese Fähigkeiten in einem umfangreichen und vielzitierten Werk beschrieben. Er hat eine Reihe von falschen Annahmen über die Verletzlichkeit von Menschen durch potenziell traumatisierende Erfahrungen und die Art und Weise, wie wir damit umgehen, zunichte gemacht.

Nichtsdestoweniger zielt ein kürzlich veröffentlichtes Papier auf die Arbeit von Bonanno ab, indem es versucht, zwei kürzlich erschienene Artikel zu "replizieren", die die Prävalenz von belastbaren Ergebnissen demonstrieren. (Vollständige Offenlegung: Ich bin ein langjähriger Freund und Mitarbeiter von Bonanno, der erste Autor auf einem Papier, und der dritte Autor auf dem anderen. Er hatte keinen Anteil an diesem Blog-Post.)

• Sich depressiv fühlen? Trainiere dein Gehirn, dies stattdessen zu tun
• Die Manchester und London Bridge Angriffe: Helping Kids Cope
• Schuld gegen Verzeihung Redux
• Capitol Hill Shooting: Kind unverletzt?
• 3 wichtige Parenting Tipps, wenn Kinder schreckliche Ereignisse im Fernsehen sehen

Wie verbreitet ist Resilienz?

In einer renommierten Fachzeitschrift " Perspectives on Psychological Science" veröffentlicht , ist diese neueste Arbeit – von Frank Infurna, einem Assistenzprofessor am Arizona State, und Suniya Luthar, ebenfalls Professorin am Arizona State und ein bekannter Experte für Widerstandsfähigkeit in der Kindheit – berechtigt: Resilienz gegenüber Major Life Stressoren ist nicht so häufig wie gedacht "(Infurna & Luthar, 2016). Wie es heißt, behaupten sie, dass frühere Resilienzschätzungen (und die gesamte Resilienzliteratur) falsch sind.

Sind sie richtig?

• Die Bedeutung kultureller Immersionsprogramme
• Das Leben ist wunderbar gegen das Leben ist weh
• Die Katze, die Amerika veränderte: Stimme der städtischen Tierwelt geben
• Haben Sie Loyalität?
• Hör auf dein Herz

Frühere Arbeit zur Belastbarkeit replizieren

Zuerst etwas Hintergrundgeschichte: Ein Feuersturm tobt über die routinemäßigen Forschungspraktiken von Psychologen, was zu der Sorge führt, dass viele veröffentlichte Forschungsergebnisse tatsächlich falsch sind. Das Streichholz, das diesen Feuersturm entzündete, war Daryl Bems mittlerweile berühmtes (oder berüchtigtes) Papier über ESP, und das Benzin, das es in ein Fünfalarm-Lagerfeuer verwandelte, war ein großangelegter Versuch, 100 Ergebnisse in bekannten Zeitschriften systematisch nachzubilden. Die ernüchternden Ergebnisse – nur 38 Prozent klar repliziert – machten die Titelseite der New York Times (keine geringe Leistung) und führten zu Kontroversen. Hier und hier zur Debatte über die Schlussfolgerungen dieser Studie.

Als diese Probleme in den Vordergrund gerückt wurden, wurde die Replikation oder die Fähigkeit, ein vorheriges Ergebnis zu reproduzieren, zu einem Cause Célèbre, was Superstars zu ihren Befürwortern machte und die Bewegung in Richtung Offenheit und Transparenz in der Wissenschaft weiter vorantrieb. Wenige würden jetzt in Frage stellen, dass diese Entwicklungen für die psychologische Wissenschaft überfällig und heilsam waren. In diesem Zusammenhang hatten die Zeitungen von Infurna und Luthar jedoch besonders viel Aufsehen erregt.

In der Tat, ihr erster Satz erfasst den Replikations-Zeitgeist der Hemdkragen: "In Anerkennung der Wichtigkeit, wichtige Erkenntnisse in der Psychologie zu reproduzieren, konzentrierten wir uns auf wiederkehrende Behauptungen über Resilienz." Sie behaupten, dass frühere Resilienzschätzungen stark überschätzt wurden und eine Reanalyse verwenden von Daten, die wir zuvor veröffentlicht haben, um ihren Anspruch zu unterstützen (siehe hier und hier). Ihre Ergebnisse scheinen zu zeigen, dass weniger als die Hälfte belastungsresistent sind (47 Prozent); etwa ein Drittel der Scheidung (36 Prozent); und weniger als die Hälfte der Arbeitslosigkeit (48 Prozent).

Ich werde argumentieren, dass ihre Schlussfolgerungen basieren auf:

• a) fragwürdige statistische Entscheidungen in ihren Trajektorienanalysen;
• b) besonders starke Schlüsse aus Erkenntnissen, die in der Tat außerordentlich verworren waren;
• c) ein unklares operationelles Verständnis von Resilienz.

Ich möchte auch hinzufügen, dass ihre Studie keine Replikation, sondern eine Reanalyse ist , wie meine Co-Autoren hier erklären.

Methoden zur Bestimmung der Resilienz

Es gibt viele Möglichkeiten, Resilienzraten zu bestimmen. Eine zunehmend verwendete Technik wird als latente Trajektorienanalyse bezeichnet (Latent Growth Mixture Modeling ist der Fachausdruck). Diese Technik gruppiert Personen, die Widrigkeiten im Laufe der Zeit in verschiedene Reaktionsmuster erfahren haben, und liefert eine grobe Schätzung der Belastbarkeit und anderer Reaktionen. Diese Schätzungen sind nicht perfekt. Aber wenn die Analysen sorgfältig durchgeführt werden, liefern sie einen fundierten Index dafür, wie viele Menschen beispielsweise Resilienz versus PTSD-Reaktionen zeigen (siehe hier).

Infurna und Luthar führen eine Trajektorienanalyse mit großen Stichproben von Personen durch, die entweder den Verlust eines Ehegatten, eine Scheidung oder Arbeitslosigkeit erlitten haben. Sie analysieren eine überlappende Probe mit der in unserem Originalpapier, indem sie die gleiche Technik, aber mit sehr unterschiedlichen Modellspezifikationen verwenden.

Als jemand, der selbst viele Trajektorien-Studien veröffentlicht hat, kenne ich sie aus technischer und konzeptioneller Sicht. Sie erfordern ein ungewöhnliches Maß an Urteilsvermögen und ein Hauptproblem betrifft die Gestaltung Ihres statistischen Modells. Zwei Anliegen müssen ausgewogen sein. Ohne sich mit technischen Details zu befassen, müssen Sie eine Gesamtstruktur für Ihr Modell bereitstellen, von der Sie denken, dass sie die zugrunde liegenden Daten widerspiegelt. Aber Sie versuchen auch, genügend Freiheit zu bieten, damit die Daten nicht willkürlich in Ihre Struktur gezwungen werden.

Die Balance zwischen imposanter Struktur und Freiheit ist eine inhärente Spannung in der Trajektorienanalyse. Es gibt keine absoluten Regeln für dieses Gleichgewicht. Aber es gibt zwei klare Kriterien, die Ihre Entscheidungsfindung leiten. Ein Kriterium ist, dass ein besseres Modell ein Modell ist, das besser zu den zugrunde liegenden Daten passt (basierend auf verschiedenen Maßen der relativen Anpassung). Ein anderes ist, dass ein besseres Modell ist eines, das Sie verstehen können (interpretieren oder mit der bestehenden Theorie ausrichten).

Wie haben Infurna und Luthar ihre Trajektorienanalyse durchgeführt? Sie entschieden sich in besonderem Maße für die Freiheit ihrer Modelle. Das heißt, sie entschieden sich gegen eine imposante Struktur. Ein potenzielles Problem bei diesem Ansatz besteht darin, dass die zugrunde liegenden Daten schlecht dargestellt sind und das Modell daher nicht sehr gut passt. Tatsächlich produzierten sie ein Modell, das nachweislich schlecht passte, viel schlimmer als das von uns entwickelte Modell. Eine Möglichkeit, dies zu bewerten, besteht darin, zu sehen, wie genau Sie Personen in eine Trajektorie im Vergleich zu anderen einordnen. In ihrer Analyse des Trauerfalls war die Entropie, ein Maß für die Klassifikationsgenauigkeit, 0,58, was als schlecht angesehen würde. Im Gegensatz dazu lag die Entropie in unseren Analysen bei .70.

Sie haben sich auch dafür entschieden, die Trajektorien nicht mit sinnvollen Ergebnissen zu verknüpfen (wie wir es in unserer ursprünglichen Arbeit getan haben). Dies hätte dazu beigetragen, ihre Bedeutung oder Gültigkeit zu erhellen. Stattdessen basierten ihre Analysen ausschließlich auf einer einzigen Ergebnismaßnahme, bei der keine anderen Datenpunkte zum Tragen kamen. Als Ergebnis waren die Trajektorien in jeder Hinsicht bedeutungslos (dh nicht interpretierbar).

Nimm mein Wort dafür nicht. Schauen wir uns das Modell an, das sie für den Verlust produziert haben. Im Folgenden sehen Sie zwei verschiedene Lebenszufrie- denheitsverläufe in der 11-jährigen Spanne der Studie (der mittlere Zeitpunkt ist der Verlust). Nach den Autoren ist eine dieser Trajektorien Resilienz und man ist Erholung. (Daten und Syntax von den Autoren sind hier auf Open Science Framework.)

Eine einfache Frage: Welcher Weg ist Resilienz? Wenn Sie die Antwort nicht kennen, sind Sie nicht allein. Ich würde es nicht tun. Die Flugbahnen sind identisch. Jeder zeigt eine ähnliche Abnahme der Lebenszufriedenheit um den Zeitpunkt des Verlustes. Jeder kehrt ungefähr zur gleichen Zeit zu seinen Grundlinienniveaus zurück. Eine Trajektorie (die obere) wird als Resilienz bezeichnet und die andere (die untere) wird als Erholung bezeichnet. In der Tat sollten beide Trajektorien Resilienz genannt werden (zurückspringend zu dem, wo man angefangen hat), was zu der Schlussfolgerung von Alice-in-Wonderland führt, dass jeder belastbar ist (100 Prozent).

Trajektorienergebnisse vergleichen

Vergleichen Sie ihr Ergebnis mit der Flugbahnlösung, die meine Kollegen und ich in unserer Originalarbeit identifiziert haben. Beachten Sie, dass unsere Trajektorien nicht nur unterscheidbar sind, sondern auch theoretisch relevanten Mustern entsprechen. Wir haben eine Gruppe gefunden, die wesentlich vom Verlust betroffen ist (blaue Flugbahn; 21,3 Prozent), was eine anhaltende Trauerreaktion darstellt. Wir fanden einen, der leicht betroffen ist (schwarze Flugbahn; 58,7 Prozent), was wir Resilienz nannten. Wir haben auch eine Gruppe gefunden, die sich verbessert (grüne Flugbahn; 5,4 Prozent), ein Phänomen, das zuvor dokumentiert und wahrscheinlich verallgemeinert wurde. Wir fanden auch eine Gruppe, die vor und nach dem Verlust wenig funktionierte und wenig Reaktion zeigte (rote Flugbahn: 14,6 Prozent). Ich überlasse es dem Leser zu entscheiden, welche der Trajektorienlösungen mehr Sinn macht.

Wie haben sie unsere ursprüngliche Analyse in Brei verwandelt? Indem sie ihren Modellen viel zu viel Freiheit lassen. Ich habe viele Trajektorienanalysen durchgeführt und gelesen, und diese unterscheidet sich von jeder anderen, die ich je gesehen habe. Sie machen ein streitendes Argument für diese Entscheidung. Aber schließlich, wenn das Ergebnis nicht mit irgendeiner Theorie darüber übereinstimmen kann, wie Menschen auf Verluste reagieren und wenig Sinn machen, gibt es in der Literatur wenig Unterstützung für die Entscheidung, ohnehin voranzukommen.

Expansive und ungerechtfertigte Schlussfolgerungen

Dennoch ziehen die Autoren ungerechtfertigte expansive Schlussfolgerungen. "Zusammenfassend unterstreichen diese Faktoren die Unzulänglichkeit jeglicher Aussagen zu Resilienzraten." Der Titel des Artikels lautet jedoch: "Resilienz ist nicht so häufig wie gedacht"; Du kannst es nicht auf beide Arten haben.

Sie argumentieren auch, dass Resilienz nicht von Erholung getrennt ist. "Aus wissenschaftlicher Sicht unterstreichen unsere Ergebnisse die Notwendigkeit, nicht nur Schlussfolgerungen zu überprüfen, dass Resilienz die modale Antwort auf Widrigkeiten ist, sondern auch, dass sie sich von Recovery unterscheidet." Die Autoren haben mit eigenen analytischen Entscheidungen eine starke Hand bei der Erzielung dieses Ergebnisses. Diese Möglichkeit wird jedoch nicht als mögliche Einschränkung ihres Ansatzes anerkannt.

Wenn die letztgenannte Schlussfolgerung zutrifft, dass Resilienz und Erholung nicht eindeutig sind, dann ist die primäre Schlussfolgerung, dass Resilienz nicht üblich ist, null und nichtig.

Kurz gesagt, die Autoren machen umfassende Behauptungen – und pauschale Entlassungen – auf der Grundlage von Ergebnissen, die schwer zu verstehen sind. Sie verwenden einzelne Variablenanalysen von Trauer, Scheidung und Arbeitslosigkeit, um Schlussfolgerungen abzulehnen, die von Dutzenden von Studien mit verschiedenen Methoden, verschiedenen Stichproben und verschiedenen traumatischen Ereignissen gestützt wurden.

Wissenschaftliches Wissen ist immer in Bewegung, und es bleibt möglich, dass Resilienz nicht üblich ist. Soweit ich sehen kann, zeigt dieses Papier es nicht.

^Verweise

^{Bonanno, GA (2004). Verlust, Trauma und menschliche Resilienz: Haben wir die Fähigkeit des Menschen, nach extrem aversiven Ereignissen zu gedeihen, unterschätzt? Amerikanischer Psychologe, 59 (1), 20-28. doi: 10.1037 / 0003-066X.59.1.20}

^{Galatzer-Levy, IR, & Bonanno, GA (2016). Es ist nicht so einfach, Resilienz verschwinden zu lassen: Kommentar zu Infurna und Luthar (2016). Perspektiven auf die Psychologische Wissenschaft, 11 (2), 195-198. doi: 10.1177 / 1745691615621277}

^{Galatzer-Levy, IR, Bonanno, GA & Mancini, AD (2010). Von Marianthal zum Latent-Growth-Mixture-Modell: Eine Rückkehr zur Erforschung individueller Unterschiede als Reaktion auf die Arbeitslosigkeit. Journal of Neuroscience, Psychologie und Wirtschaft, 3 (2), 116-125. doi: 10.1037 / a0020077}

^{Infurna, FJ, & Luthar, SS (2016). Resilienz gegenüber großen Stressfaktoren ist nicht so häufig wie gedacht. Perspektiven auf die Psychologische Wissenschaft, 11 (2), 175-194. doi: 10.1177 / 1745691615621271}

^{Mancini, AD, Bonanno, GA, und Clark, A. (2011). Das hedonische Laufband verlassen: Individuelle Unterschiede als Reaktion auf große Lebensereignisse Journal of Individual Differences, 32 (3), 144-152. doi: 10.1027 / 1614-0001 / a00004}