Wie könnte TEDs zweitgrößtes Gespräch falsch sein?

Pervasive Vorurteile bei der Durchführung und Berichterstattung von Forschung könnten der Grund sein.

Wie könnte sich herausstellen, dass die Wissenschaft im Mittelpunkt des zweithäufigsten TED-Gesprächs der Geschichte fehlerhaft ist? In diesem Vortrag geht es dann um die Harvard Business School-Professorin Amy Cuddy aus dem Jahr 2012, in der sie über „Power Poses“ spricht. Darin berichtet sie, dass die Verwendung von Posen wie Stehen mit gespreizten Beinen und Hände auf den Hüften den Hormonspiegel auf eine Weise verändert, die das Vertrauen erhöht und Stress reduziert. Diese Arbeit wurde vielfach zitiert, vor allem in der Initiative Lean In von Sheryl Sandberg.

Dana Carney, eine Co-Autorin von Cuddy, räumte 2016 ein, dass “die Beweise gegen die Existenz von Macht unbestreitbar sind”, und dass sie nicht der Ansicht ist, dass solche Auswirkungen “real” sind. Natürlich beweist dies nicht Die Haltung hat keinen Einfluss auf die Physiologie oder Psychologie einer Person. Cuddy selbst, die ihre Position bei Harvard aufgegeben hat, behauptet weiterhin, dass die Auswirkungen echt sind. Wichtiger als das Urteil zu „Machtpositionen“ ist die zugrunde liegende Frage: Wie können anscheinend seriöse wissenschaftliche Erkenntnisse in die Irre führen?

Bei „Machtpositionen“ scheint eine Reihe von Faktoren im Spiel gewesen zu sein. Eine der wichtigsten, so Carney, wird allgemein als “p-Hacking” oder “Cherry Picking” -Daten bezeichnet. Dies geschieht, wenn Forscher Daten so auswählen oder analysieren, dass nicht signifikante Ergebnisse signifikant erscheinen. Ein weiterer häufig berichteter Fall von P-Hacking betraf einen Lebensmittelforscher der Cornell University, der sein Amt niederlegte, nachdem sechs seiner Papiere vom Journal der American Medical Association zurückgezogen worden waren.

Um „p-hacking“ zu verstehen, muss zunächst p verstanden werden . P wurde geboren, als Statistiker versuchten, signifikante Assoziationen von Hintergrundgeräuschen zu unterscheiden. Die Nullhypothese geht davon aus, dass zwischen zwei Variablen keine signifikante Beziehung besteht. Um die Nullhypothese zu widerlegen und auf einen signifikanten Zusammenhang zwischen Haltung und Hormonspiegel zu schließen, versuchen Forscher in der Regel zu beweisen, dass die Wahrscheinlichkeit, dass sie vom Zufall stammt, unter fünf Prozent liegt, oder der p-Wert unter 0,05 liegt.

Ein Problem entsteht, wenn Forscher große Datensätze abfragen und Assoziationen mit einem p-Wert von weniger als 0,05 suchen. Wenn sie zum Beispiel auf signifikante Assoziationen zwischen 20 verschiedenen Variablen getestet haben, ist es wahrscheinlich, dass mindestens eine Assoziation statistisch signifikant nur zufällig erscheint. Viele Studien, die vorgeben zu zeigen, dass Faktoren wie Diät, Bewegung und Alkoholkonsum gut oder schlecht für die Gesundheit sind, werden von solchen Problemen geplündert.

Aber „p-hacking“ ist nur die Spitze des Eisbergs. Ebenso wichtig ist die Tendenz von wissenschaftlichen Konferenzen und Zeitschriften, positive Ergebnisse zu melden. Einfach ausgedrückt: Eine Studie, bei der festgestellt wird, dass die Haltung den Hormonspiegel beeinflusst, wird viel eher veröffentlicht als eine, bei der eine solche Beziehung nicht nachgewiesen werden kann. Diese Tendenz wird durch die Tatsache verstärkt, dass positive Ergebnisse beim Aufbau der Karriere von Forschern im Allgemeinen weitaus mehr zählen als negative

Ein weiterer Faktor ist die Forschungsfinanzierung. Obwohl die Finanzierung für viele Arten von Forschung knapp und der Wettbewerb hart ist, ist es im Allgemeinen einfacher, Finanzmittel für Forschungsstudien zu erhalten, die neuartige Hypothesen testen, als Studien, die zuvor gemeldete Ergebnisse bestätigen oder unbestätigten.

Hinzu kommt eine ähnliche Tendenz in der populären Presse. Wenn Forscher und ihre Institutionen die Ergebnisse von Studien bekannt geben, verbreiten Rundfunk- und Printmedien viel eher positive Ergebnisse. Sollte eine Studie die Nullhypothese nicht widerlegen oder sollten nachfolgende Ermittler, die eine Studie wiederholen, keine ähnlichen Ergebnisse erzielen, ist die Berichterstattung in der Presse viel unwahrscheinlicher.

Jeder dieser Vorurteile in Richtung positiver Ergebnisse liegt ein noch tieferes Problem zugrunde – nämlich ein grundlegendes Missverständnis darüber, was Wissenschaft wirklich ist. Wissenschaft ist kein Bestand an etablierten und unbestreitbaren Fakten. Wissenschaft ist eher eine Methode, Fragen zu stellen, die uns im besten Fall näher an das Verständnis dessen bringen, was wirklich vor sich geht.

In diesem Sinne ist es nicht verwunderlich, dass sich in vielen Fällen die empfundene Weisheit der Wissenschaft als falsch erwiesen hat – und zwar nicht nur hinsichtlich der Ergebnisse bestimmter Studien, sondern der gesamten wissenschaftlichen Weltsicht. Die lang gehegte Vorstellung, lebende Mikroorganismen würden aus lebloser Materie entstehen, erwies sich als falsch. Das Sonnensystem drehte sich nicht um die Erde, sondern um die Sonne. Die vermeintlich unantastbaren Elemente des Periodensystems erwiesen sich als wechselseitig ineinander umwandelbar.

Jeder, der sich nur mit der Wissenschaftsgeschichte auskennt, würde in Zukunft mehr derartige wissenschaftliche Revolutionen erwarten. Um zum Beispiel die Gleichungen, die den gegenwärtigen kosmologischen Modellen zugrunde liegen, auszugleichen, ist es notwendig, die Existenz von “dunkler Materie” und “dunkler Energie” anzunehmen, die sich zum Teil durch ihre Nicht-Erkennbarkeit auszeichnen. Während die „spontane Erzeugung“ – die Ansicht, dass lebende Mikroorganismen aus unbelebter Materie hervorgehen – vor zwei Jahrhunderten widerlegt wurde, gehen die aktuellen Berichte der Lebensgeschichte davon aus, dass ein solcher Übergang mindestens einmal stattgefunden haben muss.

Es geht hier nicht darum, dass die Wissenschaft so hoffnungslos voreingenommen ist, dass niemand darauf achten sollte. Elektrizität treibt unsere Geräte wirklich an, Jet-Flugzeuge streifen wirklich durch die Lüfte und Antibiotika können lebensbedrohliche Infektionen wirklich heilen. Um Fragen zu stellen, unterliegt die Wissenschaft auch Verzerrungen, und in vielen Fällen manifestieren sich solche Verzerrungen als übermäßiger Enthusiasmus für Ergebnisse, die noch nicht ausreichend untersucht wurden.

Es gibt kein Allheilmittel. Um solche Vorurteile zu korrigieren, dürfen wir niemals vergessen, dass die p-Werte keine Wahrheit sind, sondern potenziell nützliche Werkzeuge für ihr Streben. Ebenso müssen wir uns daran erinnern, dass Forscher, Geldgeber, Verleger, Reporter und Angehörige der Öffentlichkeit alle mit Vorurteilen arbeiten, einschließlich positiver Ergebnisse. Jeder möchte früh auf die nächste große Sache einsteigen – ob „Machtposen“ oder das Lebenselixier. Wie Platon sagte, kann uns nur wahres Verständnis vor falschen Meinungen schützen.