Ich weise in The Folly of Fools darauf hin, dass die Wissenschaft von Natur aus sich selbst korrigiert – sie erfordert Experimente, Datenerfassung und Analysemethoden, um vollständig explizit zu sein, um besser reproduziert und somit verifiziert oder verfälscht zu werden – aber wo Menschen oder soziales Verhalten involviert sind Die Versuchung zu schnellem und unrechtmäßigem Fortschritt wird durch die scheinbare Bedeutung der Ergebnisse und die Schwierigkeit, ihre Richtigkeit zu überprüfen, beschleunigt. In letzter Zeit wurden Fälle von vorsätzlichem Betrug in der Studie der Primatenkognition (Harvard), der gesundheitlichen Vorteile von Resveratrol (U Conn) und zahlreichen sozialpsychologischen Befunden (Tilburg U, Niederlande) aufgedeckt. Ich werde einige spätere Blogs anderen Aspekten des Betrugs in der Wissenschaft widmen, werde aber hier mit einer sehr geschickten Analyse von statistischem Betrug und fehlender Datenweitergabe in in den USA veröffentlichten psychologischen Papieren beginnen. Diese und ähnliche Arbeiten legen nahe, dass das Problem des Betrugs in der Wissenschaft viel weiter gefasst ist, als die wenigen Fälle von vorsätzlichem, großflächigem Betrug nahelegen könnten.
Wicherts und Co-Autoren machten Gebrauch von einem wenig bekannten Merkmal aller Artikel, die in den mehr als 50 Zeitschriften der American Psychological Association (APA) veröffentlicht wurden – die Autoren dieser Papiere verpflichten sich vertraglich dazu, ihre Rohdaten mit jedem zu teilen, der danach fragt , um Replikation zu versuchen. Frühere Arbeiten derselben Gruppe zeigten jedoch, dass für 141 Artikel in vier führenden APA-Zeitschriften 73 Prozent der Wissenschaftler keine Daten teilten, wenn sie dazu aufgefordert wurden. Da statistische Fehler bekanntlich überraschend häufig vorkommen und statistische Ergebnisse manchmal ungenau sind und Wissenschaftler oft motiviert sind, während der statistischen Analyse Entscheidungen zu treffen, die in ihrer eigenen bevorzugten Richtung ausgerichtet sind, waren sie natürlich neugierig darauf, ob es solche gab jede Verbindung zwischen der Nichtmeldung von Daten und dem Nachweis statistischer Verzerrung.
Hier haben sie ein dramatisches Ergebnis erzielt. Sie beschränkten ihre Forschung auf zwei der vier Zeitschriften, deren Wissenschaftler etwas häufiger Daten austauschten und die meisten ihrer Studien in einem experimentellen Design ähnlich waren. Dies gab ihnen 49 Papiere. Auch hier versäumte es die Mehrheit, Daten zu teilen und sich stattdessen wie eine Parodie der Akademiker zu verhalten. Von den Befragten gingen 27 Prozent nicht auf die Anfrage (oder zwei Folgeerinnerungen) ein – zuerst und am besten, Selbstverteidigung, völliges Schweigen – 25 Prozent versprachen Daten zu teilen, hatten dies aber nach sechs Jahren nicht getan 6 Prozent gaben an, die Daten seien verloren gegangen oder es gäbe keine Zeit, ein Codebuch zu schreiben. Kurz gesagt, 67 Prozent der (angeblichen) Wissenschaftler vermieden das erste Erfordernis der Wissenschaft – alles explizit und für die Inspektion durch andere verfügbar.
Gab es irgendwelche Vorurteile bei all diesen Verstößen? Natürlich war da. Personen, deren Ergebnisse näher am fatalen Grenzwert von p = 0,05 lagen, teilten ihre Daten weniger mit. Hand in Hand trugen sie eher elementare statistische Fehler zu ihren Gunsten. Für alle sieben Artikel, bei denen die korrekt berechneten Statistiken die Ergebnisse als nicht signifikant (insgesamt 10 Fehler) herausstellten, teilte keiner der Autoren die Daten. Dies steht im Einklang mit früheren Daten, die zeigen, dass die Beantwortung von Anfragen durch Autoren erheblich länger dauerte, wenn die Inkonsistenz in ihren gemeldeten Ergebnissen die Signifikanz der Ergebnisse beeinflusste (bei Antworten ohne gemeinsame Datennutzung!). Von den insgesamt 1148 statistischen Tests in den 49 Papieren waren 4 Prozent nur auf Basis der zusammenfassenden Statistik der Wissenschaftler falsch, und 96 Prozent dieser Fehler entsprachen den Wissenschaftlern. Die Autoren würden sagen, dass ihre Ergebnisse einen "einseitigen Test" verdienten (leichter zu erreichen), aber sie hatten bereits einen einseitigen Test erstellt, so dass sie, als sie ihn halbieren, einen "einseitigen Test" erstellten. Oder sie führten einen einseitigen Test durch, ohne dies zu erwähnen, obwohl ein zweiseitiger Test der richtige war. Und so weiter. Getrennte Arbeiten zeigen, dass nur ein Drittel der Psychologen behauptet, ihre Daten archiviert zu haben – der Rest macht die Reanalyse fast schon am Anfang unmöglich! (Ich habe 44 Jahre archivierte Echsen-Daten – sei mein Gast.) Es ist wahrscheinlich, dass ähnliche Praktiken mit der weitverbreiteten Zurückhaltung verbunden sind, Daten in anderen "Wissenschaften" von der Soziologie zur Medizin zu teilen. Natürlich ist diese statistische Fehlleistung vermutlich nur die Spitze des Eisbergs, da man in den ungenannten Daten und Analysen noch mehr Fehler erwartet.
Die Tiefe des Problems wurde in einer kürzlich erschienenen Arbeit von Simmons und Co-Autoren sehr schön dargestellt. Die Take-Home-Botschaft ist Teil des Titels: "Nicht offengelegte Flexibilität bei der Datensammlung und -analyse erlaubt, etwas als signifikant darzustellen". Und sie bedeuten alles. In einem faux-study, das sie mit echten Themen durchführten, konnten sie beweisen, dass das Hören einer Art von Musik das Geburtsdatum änderte, verglichen mit dem Hören eines anderen. Wie haben sie dieses erstaunliche und sehr wichtige Ergebnis erreicht? Indem das Alter des Vaters für jedes Fach als Dummy-Variable eingeführt wird, die "auf Unterschiede im Grundalter über die Teilnehmer hinweg kontrolliert werden soll". Wahrscheinlich ist der häufigste und effektivste Trick, Daten weiter zu sammeln, bis ein Ergebnis signifikant ist, und dann zu stoppen. Autoren haben eine große Anzahl von "Freiheitsgraden" in Bezug auf Datenanalyse und -präsentation, die ihnen reichlich Gelegenheit geben, ihre Daten nicht zu "massieren", wie Wissenschaftler es gerne ausdrücken, sondern Wahrheit aus Zufälligkeit zu schaffen.
Es gibt also gute Nachrichten und schlechte Nachrichten. Das Schlimme ist, dass es genügend Spielraum für statistisch signifikante Täuschung und eine Menge Motivation gibt, zu produzieren und dann zu verstecken. Dies kann bei unterschiedlichen Bewusstseinsgraden erfolgen. Gleichzeitig korrigiert sich die Wissenschaft selbst, wobei die oben genannten Studien gute Beispiele sind. Um eine Wissenschaft der Wahrheit zu haben – besonders im Hinblick auf das menschliche soziale Leben -, bedarf es einer Wissenschaft der Unwahrheit, einschließlich neuer Methoden, um sie zu entlarven.
Wicherts, JM, Bakker, M und Mlenar, D. 2011. Die Bereitschaft, Forschungsdaten zu teilen, ist auf die Stärke der Evidenz und die Qualität der Berichterstattung statistischer Ergebnisse zurückzuführen. PLoS Eins: 6: 1-7.
Simmons, JP, Nelson, LD und Simonsohn, U. 2011. Falsch-positive Psychologie: Nicht offengelegte Flexibilität bei der Datensammlung und -analyse erlaubt es, etwas als signifikant darzustellen. Psychologische Wissenschaft 22: 1359-1366.
