Der heutige Blogeintrag ist mit Rosa Cao, Ph.D. (abgekürzt RC unten, [email protected]). Dr. Cao erhielt ihren Ph.D. in Neurowissenschaften vom Massachusetts Institute of Technology im Jahr 2010, um die Rolle des Blutflusses bei der Informationsverarbeitung im Gehirn zu untersuchen. Anschließend absolvierte sie ein Postdoc-Stipendium bei Dr. Daniel Dennett an der Tufts University mit Schwerpunkt auf grundlegenden Fragen der Philosophie des Geistes und der Philosophie der Neurowissenschaften. Sie ist derzeit Assistenzprofessorin an der Indiana University und forscht zu Philosophie des Geistes, Philosophie der Neurowissenschaft, Philosophie der Biologie und Kognitionswissenschaft.
Sean Luo (SL): Das Thema von Interesse heute ist die Rolle der Replikation in der Wissenschaft, insbesondere der Hirnwissenschaften, und die Rolle der Replikation wissenschaftlicher Ergebnisse in der medizinischen Praxis. Dies ist ein Thema, das in den letzten Jahren sowohl in der wissenschaftlichen Gemeinschaft (hier, hier) als auch in der Laienpresse (hier, hier und hier) mehr Aufmerksamkeit erfahren hat.
Wissenschaftliche Erkenntnisse haben begonnen, einen öffentlichen Ruf als unzuverlässig zu entwickeln. Ergebnisse aus großen klinischen Studien werden in einer späteren Studie oft zur Überraschung vieler umgekehrt. Meistens können grundlegende Laborbefunde, insbesondere diejenigen, die zu Beginn als spektakulär angesehen werden, nicht reproduziert werden. Auf dem Gebiet der Psychologie und der Kognitionswissenschaften ist dieses Problem besonders schädlich und umstritten geworden.
Um diese Probleme anzugehen, hat das National Institute of Health damit begonnen, formale Finanzierungsmechanismen für die Replikation zu entwickeln, die in der Vergangenheit sehr selten waren.
Was denken Sie als Philosoph an der Schnittstelle von Wissenschaftsphilosophie und Philosophie des Geistes?
Rosa Cao (RC): Ich denke, Replikation wird überbetont. Versteh mich nicht falsch, es ist eine Art Mindeststandard, und wir sollten uns sicherlich Sorgen über abnehmende Effektstärken in der Psychologie machen. Aber am Ende kommt es darauf an, ob die Experimente zeigen, was sie zeigen wollen. Durch die Erhöhung der Stichprobengröße erhöhen erfolgreiche Replikationen die Glaubwürdigkeit der tatsächlichen Daten. Aber es hilft uns nicht, wenn das ursprüngliche Setup im Design fehlerhaft war, und es wird eine Fehlinterpretation der Daten nicht korrigieren.
Replikation soll ein Realitätscheck sein. War das ein Zufall? Zynischer kann es sowohl vorsätzlichen Betrug als auch unschuldige Wunschmanipulation von Ergebnissen erkennen. Wenn zwei Gruppen mit unterschiedlichen Anreizen dennoch die gleichen Daten liefern, können wir sicherer sein, dass die Ergebnisse nicht durch experimentelle Anreize, bewusst oder unbewusst, verzerrt werden. Aber Replikation ist nicht die einzige und sicherlich nicht unbedingt die beste Realitätsprüfung. Der Goldstandard in der Biologie ist Mechanismus. Ein klarer biologischer Mechanismus, der auf vorhersehbare Weise Effekte hervorbringt, verleiht unseren Ergebnissen eine wesentlich höhere Glaubwürdigkeit.
SL: Interessante Beobachtung. Das Replikationsproblem hat zwei Facetten: Es gibt fehlerhafte Wissenschaft und dann gibt es schlechte Wissenschaftler.
RC: Die Forderung nach Replikation wird als Vorwurf des Fehlverhaltens interpretiert, und wir sehen, wie die Leute wütend werden und die Reihen schließen. Bissell zum Beispiel argumentiert in einem Nature-Op-ed, dass es unverantwortlich ist, nach Replikationen zu rufen, und die Fehler der Replikation auf Inkompetenz in Möchtegern-Replikatoren verantwortlich macht. Ich bin mit ihrer Frustration sympathisch – jemand, der dir sagt, dass dein Rezept nicht funktioniert, weil es inkompetente Köche sind. Auf der anderen Seite legt dies wiederum nahe, dass viele veröffentlichte Ergebnisse so zerbrechlich sind, dass wir nicht viel von ihnen schließen können (geschweige denn sagen wir, dass wir von Mausergebnissen auf menschliche Ergebnisse verallgemeinern).
Aber manchmal kommen die Ergebnisse aus unschuldigen Gründen nicht zustande. Wir wissen, dass Daten immer laut sind, und Rosinenpicken, Fehlinterpretation, schlechtes Design usw. sind üblich. Die Replikation per se wird keine gute Arbeit leisten, um diese Probleme entweder zu identifizieren oder zu lösen.
Manchmal wird das Dienstprogramm der Replikation am besten durch "Debunking" -Replikationen veranschaulicht: Eine spätere Gruppe findet die gleichen Daten wie eine vorherige Gruppe, aber mit einer anderen Reihe von Hypothesen. Das ist vielleicht die mächtigste Art der Entschlüsselung, aber genaugenommen handelt es sich um eine erfolgreiche Replikation, bei der wir die gleichen Daten finden, aber erkennen, dass sie eine andere Interpretation verdient als die ursprünglich gegebene. Es handelt sich also nicht um eine Replikation, sondern um eine Interpretation .
SL: Welche neuen Entwicklungen in der Wissenschaftstheorie sind für unsere gegenwärtige Diskussion relevant?
RC: Die Philosophie der Wissenschaft in den guten alten Zeiten, als die Physik dominierte, war besessen von Gesetzen. Jetzt, wo die biologischen Wissenschaften auf dem Vormarsch sind, haben Philosophen begonnen, anderen Wegen, die wir haben, um wissenschaftlichen Fortschritt zu machen, mehr Aufmerksamkeit zu schenken. Sie argumentieren, dass das, wonach wir suchen, keine Gesetze ohne Ausnahmen sind, wie sie in der Physik vorkommen, sondern eher kontextualisierte Verallgemeinerungen, in denen wir wissen, wie etwas funktioniert, und es funktioniert die meiste Zeit, aber nicht immer.
Diese Verallgemeinerungen sind in Beschreibungen des Mechanismus eingebaut , durch den ein bestimmtes Phänomen von Interesse erzeugt wird (siehe Machamer, Darden und Craver Paper [1]). Diese erlauben es uns, das neue Phänomen von Interesse mit einfacheren Teilen und Funktionen zu verbinden, die bereits verstanden oder zumindest teilweise in breiteren Kontexten verstanden werden. Wenn wir wissen, was die Teile sind und wie diese Teile funktionieren, können wir nicht nur Verallgemeinerungen machen, sondern wir können auch abschätzen, wie gut diese Verallgemeinerungen sind und welchen Umfang sie haben, wie weit sie über den ursprünglichen experimentellen Kontext hinausgehen. Das sind die Situationen, die uns wirklich interessieren. Wenn ein Experiment perfekt replizierbar ist, aber nur im Labor, was nützt es dann der Medizin oder unserem Verständnis von Erkenntnis "in der Wildnis"?
SL: Viele verschiedene Ebenen von Analysen sind wichtig. Medizin ist breit genug, dass wir, ohne Mechanismen im Detail zu kennen, immer noch wichtige und nützliche Schlüsse ziehen können, und angesichts der Tatsache, dass unser Budget für Forschung begrenzt ist, wie Mittel für Studienmechanismen priorisiert werden können, anstatt systematisch Phänomenologie zu kategorisieren und zu analysieren, die beide teuer sind. wird kritisch.
RC: Ich denke immer noch, dass die Replikation in der Medizin wirklich ein Ersatz zweiter Klasse ist. Wenn wir – wie so oft in der Medizin – noch nicht wissen, wie etwas funktioniert, können wir uns mit erhöhter Sicherheit darauf verlassen, dass es funktioniert. Im Idealfall möchten wir wissen, wie eine medizinische Behandlung ihren Job macht. Aber wir werden uns mit einer wirksamen Behandlung zufrieden geben, die für die meisten Menschen oft funktioniert, auch wenn wir nicht genau wissen, wie.
Vielleicht können Sie sagen, dass wir es uns in der Medizin nicht leisten können, die Phänomenologie zu ignorieren. Wenn ein Medikament Krebs zu heilen scheint, haben wir eine Verantwortung zu glauben, dass es das tut, und es dort heraus zu bekommen, selbst wenn wir nicht wissen, wie es funktioniert. Aber nicht zu wissen, wie es überhaupt funktionieren könnte, das heißt, ein völliges Fehlen sogar eines möglichen Mechanismus, ist prima facie Beweis gegen das Ergebnis, besonders wenn es statistisch schwach ist.
SL: Vielleicht sollte die Kritik an sozialpsychologischen Experimenten nicht sein, dass sie nicht replizieren, sondern dass sie sich nicht ausreichend auf systematisierende Mechanismen konzentrieren und zugrunde liegende Theorien verschärfen.
RC: Oder vielleicht in etwas wie Sozialpsychologie, es ist zu schwer, nach Mechanismen zu suchen. Wir wissen einfach nicht genug darüber, wie die biologischen Teile (Zellen, Transmitter usw.) komplexe soziale Verhaltensweisen erzeugen können. Aber vielleicht ist das ein guter Grund, an der Nützlichkeit sozialpsychologischer Experimente zu zweifeln, die über die relativ eng begrenzten Phänomene hinausgehen, die sie direkt untersuchen. Für fast jedes Gebiet müssen wir uns daran erinnern, dass experimentelle Behauptungen oft nicht so weit verallgemeinern, wie wir es gerne hätten, und am zuverlässigsten sind, wenn sie auf das tatsächlich beobachtete Phänomen beschränkt sind.
SL: Das wirkliche Problem, das ich in der Forschung sowohl in der grundlegenden, mechanistischen biologischen Wissenschaft als auch in der angewandten Forschung des menschlichen Subjekts, einschließlich der klinischen Versuche, sehe, ist, dass die Anzahl der Hypothesen exponentiell zunimmt. Wir leben im Zeitalter der -omics, wenn Signale, die von Hunderttausenden von Genen und Gehirnregionen abgeleitet sind, gemessen und gleichzeitig auf Korrelationen getestet werden können. Wir gehen davon aus, dass der Reduktionismus funktioniert. Wenn Sie beispielsweise mehr über die an der Sucht beteiligten Schaltkreise im Gehirn erfahren, können Sie uns helfen, Alkoholismus zu lindern. Aber welche der Millionen von Knoten in der Schaltung sind relevant? Das, was ich sehe, ist das größte Problem, mit dem wir uns heute konfrontiert sehen. Replikation ist in gewisser Weise ein Relikt aus einer Ära der Handwerkskunst, wenn Erkenntnisse aus einer einzigen Hypothese und einem einzigen Experiment gewonnen werden konnten.
RC: Es stimmt, dass wir uns einer Vielzahl von Hypothesen und Daten gegenübersehen. Vielleicht brauchen wir also keine Replikation in Bereichen, in denen wir jetzt große Stichproben haben. Aber diese riesigen Stichprobengrößen gehen mit Hypothesen einher, die kleine Effektstärken haben – statistisch signifikant, aber am Ende nicht nützlich. Die Genomik hat uns noch nicht viel über die Funktionsweise von Krankheiten oder deren Behandlung beigebracht. Es hat uns ein überwältigend komplexes Bild davon gegeben, welche Marker mit welchen anderen Markern assoziiert sind. Das ist ein weiterer Grund, nach dem Mechanismus zu suchen. Durch die Identifizierung eines bestimmten zugrundeliegenden neuralen Signalweges oder einer Reihe von beteiligten Molekülen und Rezeptoren sind wir der Erkenntnis menschlichen Verhaltens einen Schritt näher gekommen.
SL: Es gibt eine Antwort vom maschinellen Lernen. Komplexe Daten erfordern möglicherweise kein Verständnis aller zugrundeliegenden Mechanismen, um nützliche, vorhersagbare Produkte zu erzeugen. Algorithmen können Mechanismen erkennen , die Menschen schwer zu artikulieren haben. Und selbst wenn wir nicht alle Mechanismen haben, können wir immer noch nützliche Funktionen nachahmen : Das Google-Auto ist das perfekte Beispiel – wir wissen sehr wenig darüber, wie Menschen ein Auto mechanisch lenken. Der Mechanismus reduziert die Dimensionalität und verbessert die Vorhersageleistung.
Um die Diskussion auf den ursprünglichen Punkt zurückzubringen, wenn wir über die wissenschaftliche Methode als Bayes'schen Lernprozess nachdenken, solange die "Stichprobengröße" (dh Evidenz) zunimmt, nähern wir uns asymptotisch der "richtigen Antwort" (dem korrekten Mechanismus) . Die richtige Antwort könnte nur ein komplexes Modell sein, das auf einer großen Menge von Daten und nicht auf einzelnen statistischen Hypothesen trainiert wird.
Aber wenn es systematische Verzerrungen gibt (zum Beispiel Publikationsbias), ist das nicht mehr wahr. Selbst bei Replikation und ausgefeilter Modellierung kann ein großer Teil der wissenschaftlichen Erkenntnisse immer noch recht verzerrt sein. Sich dieser Probleme bewusst zu werden und diese anzugehen, ist möglicherweise die wichtigste.
RC: Die Wissenschaft soll sich selbst korrigieren. Dies ist ein weiterer Grund, über die Replikation hinauszugehen. Wenn neue Experimente auf früheren aufbauen (anstatt sie lediglich zu wiederholen), erhalten wir eine zweite Überprüfung, ob die früheren Ergebnisse zuverlässig sind. Die am meisten praktizierten Methoden sind am glaubwürdigsten. Da ist dieses großartige alte Papier von Ian Hacking, in dem er sagt: "Wenn du sie besprühen kannst, dann sind sie echt." [3].
Dieses Interview wurde von E-Mails geführt und bearbeitet.
REFERENZ
[1] Nachdenken über Mechanismen, Peter Machamer; Lindley Darden; Carl F. Craver, Philosophie der Wissenschaft, Vol. 67, Nr. 1. (2000), Seiten 1-25.
[2] Reproduzierbarkeit: Die Risiken des Replikationslaufwerks. Mina Bissell, Nature 503, 333-334 (21. November 2013) doi: 10.1038 / 503333a
[3] "Wir sind vollkommen von der Realität der Elektronen überzeugt, als wir begannen, neue Arten von Bauelementen herzustellen, die verschiedene wohlverstandene kausale Eigenschaften von Elektronen nutzen, um in andere hypothetische Teile der Natur einzugreifen "Ian Hacking (1982). Experiment und wissenschaftlicher Realismus. Philosophische Themen 13 (1): 71-87