Der berühmte Physiker Richard Feynman hat einmal ein unterschätztes Kennzeichen der Wissenschaft betont. Er basierte auf einer Beobachtung aus dem Zweiten Weltkrieg, als Frachtflugzeuge Lieferungen auf Militärstützpunkte auf den Südseeinseln absetzten. Nach dem Krieg, als die Frachtflugzeuge anhielten, erfanden die Insulaner einen Frachtkult, der das nachahm, was sie beobachtet hatten, in der Hoffnung, die Flugzeuge zur Rückkehr zu bewegen. Sie schufen Repliken von Flugzeuglandebahnen; sie machen Licht; sie signalisierten in den Himmel.
Sie taten alles, was normalerweise der Landung von Frachtflugzeugen vorausging. Aber die Flugzeuge sind nie gelandet.
Viele behaupten, die Wissenschaft zu praktizieren, argumentierte Feynman, wie die Südsee-Insulaner die Luftversorgung praktizierten. Sie haben alle Schnickschnack; alle Methoden nähern sich der Standardwissenschaft an; aber ihnen fehlt etwas Wesentliches, ohne das die Frachtkult-Wissenschaft nur eine Pseudowissenschaft ist.
Das fehlende Stück ist eine Einstellung: Feynman nannte es eine Biegung nach hinten, um mehr als nur eine Interpretation zu sehen; ein Interesse daran, seine Hypothesen zu widerlegen und nicht nur zu bestätigen; ein Wunsch, sich nicht zu täuschen, in erster Linie; die Bereitschaft, die eigenen Überzeugungen auf den Punkt zu bringen – kurz: "Ehrlichkeit", die weit über die tägliche Wahrhaftigkeit hinausgeht. Feynman stellte es der Werbung gegenüber: Ich könnte versuchen, Ihnen meine Seifenmarke zu verkaufen, indem ich seine Stärken ausspreche, seine Schwächen minimiere und seine Konkurrenten ignoriere. Man muss nicht lügen, um auf diese Weise zu werben; aber auch nicht, dass man absolut ehrlich ist.
Wissenschaft als Werbung ist Pseudowissenschaft.
(Hier ist Feynman in seinen eigenen Worten: "Details, die Ihre Interpretation in Frage stellen könnten, müssen gegeben werden, wenn Sie sie kennen. Sie müssen das Beste tun, was Sie können – wenn Sie irgendetwas falsch oder möglicherweise falsch wissen – um es zu erklären Wenn Sie zum Beispiel eine Theorie, und werben Sie es, oder löschen Sie es aus
Sie müssen auch alle Fakten außer Acht lassen, die damit nicht einverstanden sind, sowie diejenigen, die damit einverstanden sind … Zusammenfassend besteht die Idee darin, zu versuchen, alle Informationen zu geben, um anderen zu helfen, den Wert Ihres Beitrags zu beurteilen; nicht nur die Information, die zu einer Entscheidung in eine bestimmte Richtung führt oder
Ein weiterer.")
Wir sehen dies unter denjenigen Akademikern, die derzeit einen anti-bipolaren Kreuzzug betreiben. Ein Blogbeitrag, auf den ich geantwortet habe, bestand aus einem Ansatz (ironisch für Kritiker der "Unternehmenspsychiatrie"), der der Werbung ähnlich ist – die Bereitstellung einseitiger Daten, das Ignorieren gegenteiliger Beweise und das Schweigen auf vieles, was zählt. Eine andere Templergruppe, über die ich vor einem Jahr ihren zweiten Blogbeitrag geschrieben habe ("Relax, du bist nicht bipolar"), ist besessen von der Idee einer bipolaren Überdiagnose. Diese Forschungsgruppe, die von CNN und Public Radio bestätigt wurde, veröffentlicht weiterhin in psychiatrischen Fachzeitschriften mit nicht beweisbaren Beweisen. Kürzlich wurde in einem anderen Artikel der gleichen Studie gezeigt, dass eine bipolare Störung überdiagnostiziert wird, wenn Patienten häufig unter anderen Bedingungen wie einer Borderline-Persönlichkeitsstörung oder einer einfachen alten Vanilledepression (Major Depressive Disorder, MDD) leiden. Doch das Originalpapier, auf dem diese Behauptung beruht, zeigt genau das Gegenteil: es beweist, dass die bipolare Störung nicht diagnostiziert, sondern überdiagnostiziert wird. Wie?
In der ursprünglichen Studie wurden etwa 30% der Personen mit bipolarer Störung (basierend auf dem Goldstandard-Interview der Forscher) noch nie zuvor diagnostiziert (Unterdiagnose); Doch nur bei 13% der Patienten wurde eine bipolare Störung diagnostiziert, die sie nicht wirklich hatte (Überdiagnose; wieder basierend auf dem Goldstandard der Forscher). Nun lehrt die Mathematik der ersten Klasse, dass 30 größer als 13 ist, und die dritte Klasse lehrt, dass sie doppelt so groß ist: somit ist die bipolare Störung mehr als doppelt so diagnostiziert wie überdiagnostiziert; somit wird es überwiegend unterdiagnostiziert, nicht überdiagnostiziert.
Es gibt eine andere Art, das Material zu betrachten, was den gleichen Punkt darstellt. Anstelle des relativen Risikos bringt dieser Ansatz den absoluten Unterschied mit sich. Ein Effekt könnte 2% gegenüber 1% sein; ein anderer könnte 80% gegen 40% sein; beide sind zweifache relative Risiken, aber der absolute Effekt von einem ist viel größer als der andere (80% ist viel größer als 2%). Dieses Maß der absoluten Differenz – die "Zahl, die zum Schaden benötigt wird" (NNH) für schlechte Ergebnisse – beinhaltet den Kehrwert der tatsächlichen prozentualen Differenz. In dieser Studie wäre die NNH für die Überdiagnose der Kehrwert von 13% = 7,7. Der NNH für Unterdiagnose wäre der Kehrwert von 30% oder 1 / 0,3 = 3,3. (Eine NNT von weniger als 5 gilt als riesig, 5-10 als moderat, 10-20 als klein. Üblicherweise gilt dieser Ansatz für Medikamente, so dass man sagen kann, dass ein Medikament mit einer NNT von 5 einen großen Nutzen hat. Hier wenden wir es an die Wahrscheinlichkeit einer Unterdiagnose gegenüber einer Überdiagnostik). Anhand der Daten aus dieser Studie können wir sehen, dass die Wahrscheinlichkeit einer Schädigung durch Unterdiagnostik groß ist und eine Überdiagnose, wenngleich nicht fehlend, nur moderat ist. Wiederum zeigen die Daten selbst eine vorherrschende Unterdiagnose, keine Überdiagnose.
Wie haben die Forscher ihre eigenen Daten ignoriert? Wie konnten sie zu dem gegenteiligen Schluss kommen?
Lass mich rückwärts beugen.
Ihre Schlussfolgerungen folgen, obwohl immer noch falsch, basierend auf einer anderen Sichtweise auf diese Daten. Ich stellte zunächst die Frage: Welche Diagnose hatten die Patienten (von den Forschern als bipolar bestätigt oder nicht bipolar bestätigt), und welche Diagnosen hatten sie dann irrtümlich erhalten? Dies ist der Weg zu zeigen, dass jemand falsch diagnostiziert wurde, und wie häufig (überwiegend über oder unterdiagnostiziert).
Das veröffentlichte Papier der Forscher berichtet nicht über die obigen Analysen. Stattdessen stellen sie die Frage: Bei welchen Patienten wurde eine bipolare Störung in der Gemeinschaft diagnostiziert? Dann, wie viele von ihnen wurden von den Forschern bestätigt, eine bipolare Störung zu haben? Die Antwort auf diese Frage war 42%; Somit wurde behauptet, dass 58% überdiagnostiziert würden.
So gesehen, zeigen die Beweise, dass die bipolare Störung unterdiagnostiziert ist; andersherum scheint es überdiagnostiziert. Warum haben die Forscher nur eine Interpretation gemeldet?
Ein Epidemiologie-101-Kurs (den die meisten Psychiater niemals erhalten) würde genügen, um den Unterschied zwischen Reliabilität und Validität zu erfahren. Zuverlässigkeit bedeutet, dass zwei Ärzte, die die von ihnen gewählte Methode verwenden, dasselbe diagnostizieren. Wenn wir zustimmen, X mit dem Label "Y" zu benennen, sind wir zuverlässig. Wenn die Realität ist, dass X ist X, nicht Y, dann ist unsere Behauptung, dass X ist Y, obwohl zuverlässig, nicht gültig.
Bei dieser Art von Forschung stellt sich die Frage, ob Kliniker ihre Patienten korrekt diagnostizieren. Ihre Diagnosen sind in Frage gestellt; sie sind nicht bewiesen; sie werden studiert. Um also mit den Diagnosen der Kliniker zu beginnen, muss man die Frage nach der Gültigkeit stellen, nicht um sie zu beantworten. Wir beantworten mit den Diagnosen der Forscher in der Psychiatrie, basierend auf dem Standardforschungsdiagnostik-Interview, das systematisch DSM-IV-Kriterien bewertet. Bei der Analyse der Diagnosen von Klinikern geht es um Zuverlässigkeit; Es zeigt, dass wir nicht übereinstimmen, was wir als bipolare Störung bezeichnen. Es zeigt an, dass die bipolare Diagnose in der Gemeinschaft unzuverlässig gemacht wird.
Es zeigt keine Überdiagnose. Überdiagnose spiegelt etwas anderes wider: es bedeutet, dass viele Menschen, die keine Krankheit X haben, damit diagnostiziert werden, und zwar überwiegend, was bedeutet, dass nicht viele an der Krankheit X leiden und dennoch nicht diagnostiziert werden. Um diese Frage zu beantworten, müssen wir wirklich wissen, wer die Krankheit hat und wer nicht. Wir müssen mit den bewährten Diagnosen, den systematischen Interviews der Forscher beginnen. Das ist die Analyse, die ich gemacht habe; und es zeigte vorherrschende Unterdiagnose.
Tatsächlich gibt es zahlreiche Krankheiten, die unzuverlässig und noch nicht diagnostiziert sind. Asthma gilt als noch nicht diagnostiziert; viele, die es haben, werden nicht diagnostiziert und irren sich mit anderen Zuständen; Es ist aber auch unzuverlässig: Kliniker stimmen häufig nicht damit überein, wann es vorhanden ist, und verwechseln es mit Bronchitis oder anderen Lungenerkrankungen. Dasselbe gilt für Zöliakie, chronische Cholecystitis und Demenz. Unzuverlässigkeit ist nicht dasselbe wie Unterdiagnose.
Die Menschen stimmen nicht überein, was sie bipolare Störung nennen, aber überwiegend – und das ist meine Feynmanesque Kritik, weil die eigenen Daten der Kritiker zeigen – bipolare Störung ist viel häufiger zu übersehen, wenn es vorhanden ist, als zu diagnostizieren, wenn es abwesend ist.
Der Geist von Richard Feynman verfolgt diese unziemliche Debatte. Ich frage noch einmal: Wie haben die Forscher ihre eigenen Daten ignoriert? Wie konnten sie zu dem gegenteiligen Schluss kommen?
Man kann nicht sagen, dass sie die Beweise ignorierten. Sie veröffentlichten die Daten in ihrer Arbeit in einer Tabelle. Sie haben einfach nicht die Berechnungen gemacht, die ich oben gemacht habe; Sie analysierten es nicht auf eine Weise, die ihre Ansichten widerlegen könnte; Sie haben ihre eigenen Überzeugungen nicht auf den Prüfstand absoluter Ehrlichkeit gestellt. Ihr Papier hat alle Schnickschnack der Wissenschaft, aber es ist keine Wissenschaft; es geht nur um eine Art der Analyse der Daten, die die Interpretation zu unterstützen scheint, die die Autoren zeigen möchten, während andere (gültige) Wege ignoriert werden, die die Hypothesen der Autoren widerlegen. Ihre Analysen sind nicht falsch, nur unvollständig. Sie produzierten ehrliche Werbung; nicht ganz ehrliche Wissenschaft. Sie sind nicht unehrlich; Wie Feynman argumentiert hat, sind sie nur unwissenschaftlich: Sie haben sich so voll und ganz getäuscht, dass sie nun ehrlich andere täuschen können.
So veröffentlichen wissenschaftliche Zeitschriften die Papiere, die allgemeinen Medien wiederholen die Schlussfolgerungen, und das Wort verbreitet, dass die bipolare Störung überdiagnostiziert wird … besonders bin ich mir sicher, in der Südsee.
