Der wissenschaftliche Reformaufwand und seine Unzufriedenheit

Ein kontroverses Essay eines ehemaligen Präsidenten der Association for Psychological Science, das in wissenschaftlichen Diskussionen für Höflichkeit plädiert, hat viele Kommentare von wissenschaftlichen Autoren im Internet inspiriert. Sie können meine Zusammenfassung des Essays hier lesen; Sie können den ganzen Aufsatz hier lesen.

Weil der Status Quo in der psychologischen Wissenschaft problematische Studien, Praktiken und Erkenntnisse einschließt und weil Fiskes Aufsatz diesen Status quo zu verteidigen schien, nahmen viele an der Spitze der Wissenschaftsreform eine Ausnahme davon ein. Warum sollte es dich interessieren? Ist das Problem der Qualität und Glaubwürdigkeit der wissenschaftlichen Forschung nicht zu technisch für den intelligenten Laien? Erstens, überhaupt nicht. Die meisten Probleme in der psychologischen Wissenschaft sind für den Laien verständlich, und jeder, der etwas anderes vorschlägt, zieht einen schnellen (siehe Link oben). Zweitens hängt die Glaubwürdigkeit von allem, was Sie über die psychologische Wissenschaft lesen, von der Qualität dieser Wissenschaft ab. Wenn diese Qualität suboptimal ist, willst du es wissen (zumindest wenn du der Typ Mensch bist, der sich für Psychologie interessiert und du lieber Dinge glaubst, die tatsächlich wahr sind, als eine unbekannte Mischung aus Schlangenöl, heißer Luft, schlechten Praktiken und eigennützige Eigenwerbung).

Viele Wissenschaftsjournalisten sahen in Fiskes Essay mehr als nur einen Ruf nach Höflichkeit. Fiske beschuldigte diejenigen, die sich außerhalb der etablierten Peer-Review-Einrichtungen mit Kritik an der psychologischen Wissenschaft beschäftigten, sich in feindselige und unmoralische Handlungen einzumischen. Als solche interpretierten viele es als einen Versuch, den Status quo (was viele für dysfunktional halten) in der psychologischen Wissenschaft zu verteidigen und vor berechtigter Kritik zu schützen.

Hier sind einige der meiner Meinung nach besten und treffendsten Kommentare zu Fiskes Essay und zur allgemeinen Wissenschaftsreform:

• Schlaflähmung und das Übernatürliche
• Spiritualität für Anfänger 6: Zwei Hälften machen alles zu einem Ganzen
• Die Risiken des Online-Flirts
• Sind Online-Beziehungen für junge Menschen gesund?
• Feiern Sie die Creative Maladjustment Week, indem Sie sich das Video ansehen

TAMLER SOMMERS (VERYBADWIZARDS.COM, EPISODE 99, beachten Sie, dass dies ein Podcast ist, und Sie finden das Zitat im zweiten Abschnitt, der ungefähr 20 Minuten in beginnt):

"Mit ethisch meint sie die Dinge, die den Status quo und das Establishment festhalten … Aus der Perspektive eines Außenstehenden liest sich das ein wenig so:" Ihr Leute außerhalb des Clubs werden unsere Methoden nicht in Frage stellen, auch wenn sie objektiv fragwürdig sind. Sie müssen durch uns gehen, um das zu tun, und wir müssen jede Kritik, die Sie an unserer Methodik und unseren Praktiken anbringen, genehmigen. "

ANDREW GELMAN (WAS HIER GESCHEHEN IST, WURDEN DIE WINDEN GEÄNDERT). Gelmans gesamter Beitrag ist lang aber meisterhaft und ich ermutige Sie, das Ganze zu lesen. Hier einige Auszüge:

• Einige Kinder schlagen wirklich Autismus, und das sind gute Nachrichten
• Richtlinien für den Umgang mit der Affäre eines Partners
• Dein kreatives Selbst zurückfordern
• Bull Durham, Achtsamkeit und Pflegebedürftige
• Postambel

"Die Kurzgeschichte ist, dass Cuddy, Norton und Fiske eine Reihe von Datenfehlern gemacht haben – was schade ist, aber solche Dinge passieren – und dann, als die Fehler auf sie hingewiesen wurden, weigerten sie sich, irgendetwas zu überdenken. Ihre inhaltliche Theorie ist so offen, dass sie jedes Ergebnis, jede Interaktion in jeder Richtung erklären kann.

"Und deshalb behaupten die Autoren, dass die Fehler behoben werden" ändert nichts an der

Fazit des Papiers "ist sowohl lächerlich als auch allzu wahr. Es ist lächerlich, weil einer der Hauptansprüche vollständig auf einem statistisch signifikanten p-Wert basiert, der nicht mehr da ist. Aber die Behauptung ist wahr, weil die wirkliche "Schlussfolgerung des Papiers" nicht von irgendwelchen Details abhängt – alles, was zählt, ist, dass es irgendwo etwas gibt, das weniger als 0,05 hat, weil das genug ist, um publizierbar, promotabel zu machen Behauptungen über "das Durchdringungsvermögen und die Beharrlichkeit des älteren Stereotyps" oder was auch immer sie sonst an diesem Tag veröffentlichen möchten.

Wenn die Autoren dagegen protestieren, dass keiner der Fehler wirklich eine Rolle spielt, werden Sie feststellen, dass die Daten in diesen Projekten kaum eine Rolle spielen. "

"… sie arbeitet in einem toten Paradigma. Ein Paradigma, das in den 1960er Jahren tot sein sollte, als Meehl über all das schrieb, aber im Zuge von Simonsohn, Button et al., Nosek et al., Heute sicherlich tot ist. Es ist das Paradigma der Open-ended-Theorie, der Veröffentlichung in Top-Zeitschriften und der Förderung in der populären und Wirtschaftspresse, basierend auf "p weniger als .05" -Ergebnissen, die mit Hilfe von reichlich vorhandenen Forscherfreiheitsgraden erhalten wurden. Es ist das Paradigma der Theorie, die nach den Worten des Soziologen Jeremy Freese "vampirischer als empirisch ist – nicht durch bloße Daten getötet werden kann.

"Fiske äußert sich besorgt über die Karrieren ihrer Freunde, die möglicherweise durch die öffentliche Ausstrahlung ihrer Forschungsfehler beschädigt wurden. Denken Sie daran, dass es für jeden dieser Leute drei weitere junge Forscher geben könnte, die eine sorgfältige, ernsthafte Arbeit verrichten, aber nicht für einen Pflaumenjob oder eine Beförderung ausgewählt wurden, weil es zu schwierig war, mit anderen Kandidaten zu konkurrieren schlampig aber auffällige Arbeit, die in Psych Science oder PPNAS veröffentlicht wurde. Es geht in beide Richtungen. "

"Fiske ist verärgert über soziale Medien, und ich kann das verstehen. Sie sitzt an der Spitze der traditionellen Medien. Sie kann einen Artikel im APS-Observer veröffentlichen und all diese Diskussionen führen, ohne sich einer Peer-Review unterziehen zu müssen; sie hat die Macht, Artikel für die prestigeträchtigen Proceedings der Nationalen Akademie der Wissenschaften zu genehmigen; arbeiten Sie selbst und har Kollegen ist in nationalen Zeitungen, TV, Radio und sogar Ted Gespräche, oder so habe ich gehört. Top-down-Medien sind Susan Fiskes Freund. Social Media hat sie jedoch nicht unter Kontrolle. Das muss frustrierend sein, und als erfolgreicher Praktiker traditioneller Medien (ja, auch ich habe in Fachzeitschriften veröffentlicht) kann auch ich mich ärgern, wenn Neulinge die traditionellen Publikationswege umgehen. Leute wie Fiske und ich verbringen unser Berufsleben damit, ein kleines Vermögen in Form von Publikationen und Zitaten aufzubauen, und es ist schmerzlich, das abgewertet zu sehen, oder zu denken, dass es eine andere Art von Geld im Umlauf gibt, die Dinge kaufen kann Old-School-Geld kann nicht. "

"Lassen Sie mich mit einer wichtigen Meinungsverschiedenheit schließen, die ich mit Fiske habe. Sie bevorzugt moderierte Foren, in denen Kritik privat gemacht wird. Ich bevorzuge offene Diskussion. Persönlich bin ich kein Fan von Twitter, wo die Raumbeschränkung einen schnellen, oft kontradiktorischen Austausch zu fördern scheint. Ich mag Blogs und Blogkommentare, weil wir genügend Platz haben, um uns vollständig zu erklären und uns auf das zu beziehen, was wir diskutieren. "

Und dann gab es diesen Killerkommentar zu Gelman's Post und Fiskes Essay von einer Person, die sich nur als "Plucky" identifizierte (den ich kontaktierte und die Erlaubnis erhielt, vollständig zu zitieren):

PLUCKY'S BULLSEYE (Wissenschaft ist eine Methode, keine Gemeinschaft):

Das Schlüsselproblem bei Fiske ist dieser Satz: "Letztendlich ist die Wissenschaft eine Gemeinschaft, und wir sind alle zusammen darin."

Das ist einfach falsch und falsch in der Art und Weise, die zu all dem führt, was Sie kritisiert haben. Wissenschaft ist keine Gemeinschaft, es ist eine Methode.

Ich kenne Ihr Fachgebiet nicht gut, aber ich kenne Politik gut. Ein überragendes Problem beim Lesen

Fiskes Brief besagt, dass man, wenn man ihm nicht den Kontext und den Hintergrund vortragen würde, leicht mit der Art von schwacher politischer Verteidigung der Interessengruppen der von den Lobbyisten verfassten Op-Eds verwechselt werden könnte. Die Wortwahl, der Tonfall, die verantwortliche Darstellung von Streit zwischen Erwachsenen und Kontro-Kindern, die unbenannten bösen Strohmänner, der grundlose Vergleich mit dem Terrorismus und der falsche Anspruch, einen persönlichen Anteil am Kampf zu verlieren, sind allesamt übliche rhetorische Krücken des Politischen Hacks, und es sollte für ein wissenschaftliches Gebiet peinlich sein, dass jemand, der darin anscheinend ziemlich eminent ist, auf diese Weise sprechen würde. Das ist wirklich kein guter Blick für die Wissenschaft.

"Offensichtlich ist Wissenschaft etwas, das von Menschen in Zusammenarbeit praktiziert wird, um das sich eine Gemeinschaft natürlich bildet, aber das entscheidende Element für die Autorität und Legitimität des Unternehmens ist und muss sein, dass alle institutionellen Arrangements so gestaltet sind, dass sie dem natürlichen Menschen entgegenwirken Tendenzen von Clique-Ishness, Karrierismus etc. werden ständig auf ihre Wirksamkeit hin untersucht. Der ganze Sinn der Verleihung von Amtszeit besteht gerade darin, die Praxis der Wissenschaft vor den Machenschaften der Politik zu schützen und es den Menschen zu erlauben, Dinge zu tun, als ob sie mehr als zehn Jahre damit verbracht hätten, ein Phantom zu jagen, ohne ihre Anstellung zu verlieren. Einige Zugeständnisse an die menschliche Natur müssen gemacht werden, aber die Wissenschaft und ihre Praktiker müssen immer die Position einnehmen, dass die Wahrheit wichtiger ist als der Ruf oder die Karriere eines Wissenschaftlers.

"Das fundamentale Problem bei der Definition von Wissenschaft als" letztendlich … eine Gemeinschaft "ist, dass Gemeinschaften die Wahrheit im Allgemeinen nicht über das Wohlbefinden ihrer Mitglieder (im materiellen oder emotionalen Sinn) schätzen. Der funktionelle Zweck einer Gemeinschaft besteht gerade darin, ihren Mitgliedern Unterstützung, Schutz und Validierung zu bieten. Gemeinschaften, deren erklärter Zweck uneigennützig ist, brauchen sehr starke Verpflichtungen sowohl individuell als auch institutionell, um Korruption zu vermeiden, und selbst mit diesen Verpflichtungen ist der Kampf zur Vermeidung von Korruption ewig und niemals vollständig erfolgreich. Angesichts der Beschreibung von Dr. Fiskes Forschungsinteressen sollte sie das besser wissen als nur irgendjemandem. "

TAL YARKONI (ES GIBT KEIN "TON" -PROBLEM IN DER PSYCHOLOGIE)

"Es ist nichts falsch mit dem allgemeinen Ton unseres Diskurses in der Psychologie im Moment.

"Selbst wenn mit dem Ton unseres Vortrags etwas nicht stimmte, wäre es sehr kontraproduktiv, wenn wir unsere Zeit damit verschwenden würden, in vagen allgemeinen Begriffen darüber zu reden.
Die Angst, dass die eigenen wissenschaftlichen Erkenntnisse von anderen auseinander gerissen werden, ist nicht ungewöhnlich oder pathologisch; es ist eigentlich ein völlig normales und gesundes Gefühl für einen Wissenschaftler.
Der Appell zur Fairness ist es nicht wert, ernst genommen zu werden, es sei denn, das Argument wird auf der Ebene der gesamten wissenschaftlichen Gemeinschaft aufgestellt, und nicht nur in der Sub-Community, der man angehört. "

"Kein Forscher hat das Recht, eine erfolgreiche Karriere unbeschwert und ohne ernsthafte Befragung seiner Ergebnisse zu führen. Frühere Forscher wie Alec Beall, dessen Beitrag, dass fruchtbare Frauen eher Rothemden tragen, wurden von Andrew Gelman und anderen scharf kritisiert. Es ist bedauerlich, dass einschneidende öffentliche Kritik den Ruf und die Berufsaussichten derjenigen beeinträchtigen kann, deren Arbeit kritisiert wurde. Und es ist auch wahr, dass dies ziemlich unfair sein kann, in dem Sinne, dass es im Allgemeinen keinen besonderen Grund gibt, warum diese bestimmten Menschen dafür kritisiert werden und leiden müssen, während andere Leute mit sehr ähnlichen Arbeitsstellen ungeschoren davonkommen und sichere Pflaumen Jobs oder Werbeaktionen. "

Aber hier ist die Sache: Was auf der Ebene eines Individuums nicht fair erscheint, ist oft vollkommen gerecht – oder zumindest unvermeidbar – auf der Ebene einer ganzen Gemeinschaft. Sobald man von einem Individuum ausgeht und stattdessen das Feld der Psychologie als Ganzes betrachtet, wird klar, dass die Job- und Reputationsmärkte in erster Näherung ein Nullsummenspiel sind. Wie Gelman und viele andere Leute bemerkt haben, könnte es für jede Person, die keinen Job bekommt, weil ihre Arbeit von einem "Replikator" kritisiert wurde, drei andere Kandidaten geben, die keine Arbeit bekommen, weil ihre methodisch strengere Arbeit genommen hat zu lange, um zu veröffentlichen und / oder konnte nicht in Auffälligkeit zu der PR-Grabbing-Arbeit, die die Job-Lotterie gewonnen zu stapeln.

"… die Idee, dass ein Ergebnis, das in einem unserer Journale veröffentlicht wurde, als vorurteilsfrei angesehen werden sollte, weil es zufällig zuerst kam, während eine spätere Kritik oder Wiederholung dieses Ergebnisses aus persönlichen Motiven oder anderen Vorurteilen ausgeschlossen werden sollte, ist, offen gesagt, wahnhaft . Schrägstriche sind überall; Jeder hat sie. Das heißt zwar nicht, dass wir sie ignorieren sollten, aber wir sollten entweder (a) alle Verzerrungen gleich nennen – was im Allgemeinen unmöglich oder zumindest äußerst unpraktisch ist – oder (b) akzeptieren, dass dies nicht der Fall ist produktiv, und dass der beste Weg, um Verzerrungen auf lange Sicht zu eliminieren, darin besteht, die Voreingenommenheit aller zu bekämpfen und logische Argumente und empirische Daten darüber zu entscheiden, wer recht hat. "

Neurosketic (zu "Destructo-Kritik")

"Nehmen wir an, dass Fiske Recht hat und dass einige Individuen, obwohl sie vorgeben, über die Wissenschaft zu diskutieren, tatsächlich an der gezielten persönlichen Belästigung bestimmter Wissenschaftler beteiligt sind. Wenn das der Fall ist, was sollen wir tun?

"Aus meiner Sicht sollten wir Namen (oder Pseudonyme!) Nennen: Wir sollten die Täter in Bezug auf bestimmte Beispiele ihrer Angriffe zur Rechenschaft ziehen. Schließlich sind diese Leute (Fiske sagt) bösartige Tyrannen, die sich auf äußerst unethische Weise verhalten. Wenn ja, verdienen sie es, ausgesetzt zu werden.

"Aber Fiske macht das nicht. Sie sagt: "Ich nenne keine Namen, weil Ad-Hominem-Abstrich-Taktiken bereits unser Feld schädigen." Aber es ist kein Ad-Hominem-Abstrich, um auf einen Fall von Mobbing oder Belästigung hinzuweisen und "das ist falsch" zu sagen. Im Gegenteil, das würde für Anstand stehen. Wenn Terroristen wirklich unter uns sind, müssen wir wissen, wer sie sind.

"Ein anderer Grund, warum ich denke, dass Fiske (und jeder andere in einer ähnlichen Position) Namen nennen sollte, ist, dass es hilft, Grenzen zu ziehen. Fiske räumt ein, dass nicht alle Blogger schlecht sind: "Nicht alle selbsternannten Kritiker verhalten sich unethisch." Wer sind also die ethischen? Es würde helfen, einige Beispiele der "guten" Kritiker zu kennen, weil wir dann wissen könnten, wo Fiske die Grenze zieht, die gute Kritik von schlecht trennt. So wie es aussieht, kann man Fiskes Verleumdungen leicht lesen, wie es für die große Mehrheit derer, die online über Wissenschaft diskutieren, gedacht ist.

"Zusammenfassend möchte ich wissen, wer Fiske einen" Destructo-Kritiker "nennt, damit ich die Genauigkeit des Labels beurteilen kann. Bin ich einer? "

NEUROCHAMBERS (METHODISCHER TERRORISMUS UND ANDERE MYTHEN)

"Die Wahrheit ist, dass wir uns mitten in einem Machtkampf befinden, und zwar nicht zwischen Fiskes" Destructo-Kritikern "und ihren Opfern, sondern zwischen Reformern, die verzweifelt versuchen, die Wissenschaft zu verbessern, und einer Avantgarde von Traditionalisten, die hin und wieder schau von ihren Thronen herab, um einen Baumstamm in die Straße zu werfen. Da die Anzahl der fehlgeschlagenen Replikationen ständig steigt, möchte eine neue Generation eine andere Art von Wissenschaft, und sie wollen sie jetzt. Sie fordern mehr Transparenz in der Forschungspraxis. Sie wollen dafür belohnt werden, qualitativ hochwertige Forschung unabhängig von den Ergebnissen zu machen. Sie möchten, dass Forscher für die Qualität der von ihnen produzierten Arbeit und für die Entscheidungen, die sie als öffentliche Fachleute treffen, Rechenschaft ablegen müssen. Es ist alles sehr vernünftig, konstruktiv und im öffentlichen Interesse. "

NEURONEUROTIC (DER TAG DER PALM HIT DAS GESICHT)

Ich bin mit der Idee sympathisch, dass Kritik weh tut, dass wir vielleicht mehr darauf achten sollten, wie snark und frivol wir mit unserer Kritik umgehen, und dass es ein gewisses Maß an Freude darüber gibt, wie Replikationsfehler bekannt gemacht werden. Aber es gibt auch eine Menge Freude, mit der hochwirksame Artikel in TED-Talks veröffentlicht und präsentiert werden. Wenn Sie wollen, dass Ersteres aufhört, sollten wir vielleicht auch endlich Schluss machen mit dem Bullshitting.

URI SIMONSOHN (DREI IDEEN FÜR ZIVILKRITIK)

Ich denke, Datenjournalist ist eine genauere Metapher als Datenpolizei. Wie Journalisten haben auch (akademische) Blogger im Gegensatz zu Polizeibeamten weder körperliche noch rechtliche Befugnisse, sie üben lediglich Meinungsaustauschanalysen und unverbindliche Meinungen aus, die von den Menschen, die sie lesen, geschätzt werden (im Gegensatz dazu sind wir es) nicht frei, die Polizei zu ignorieren). Wie die Macht der Journalisten hängt die Macht der Blogger davon ab, interessant, richtig und überzeugend zu sein.

Im Gegensatz zu Journalisten haben die meisten akademischen Blogger eine ähnliche Ausbildung in der Thematik wie die ursprünglichen Autoren, deren Arbeit sie diskutieren, und sie bewohnen auch ihre sozialen und professionellen Kreise. So sind Blogger Elitejournalisten: besser qualifiziert und besser motiviert, richtig zu sein

BENJAMIN KIRKUP (Kommentator auf dem Blog Simplystatistics.org, Statistical Vitriol)

"In der Biomedizin kämpfen die Menschen um ihr Leben und ihre Unsterblichkeit. Diejenigen, die versuchen, durch Zuschüsse ein stabiles Einkommen zu erhalten, haben ihren Rücken an der Wand. Diejenigen, die Artikel veröffentlicht haben, die sie als ihr Erbe in den Rollen und Annalen der Wissenschaft betrachten, haben vielleicht noch mehr auf dem Spiel.

"In der Verhaltens- und Sozialpsychologie steht noch etwas anderes auf dem Spiel. Einige der Statistiker lesen, sie sprechen davon, dass all diese unbewussten Vorurteile als kleine Effekte angenommen werden müssen, weshalb die Ergebnisse bemerkenswert und überraschend sind und wahrscheinlich falsch sind (Himmanen, Hurrikane, erstklassiges Sitzen im Flugzeug, sich ausbreitende Menschen, was auch immer). Aber das vermisst den ganzen Punkt. Die Leute, die diese Theorien voranbringen, glauben ernsthaft, dass diese Vorurteile RIESIG sind und eine neue Form der Erbsünde darstellen, die das individuelle menschliche Handeln und die organisatorischen und institutionellen Strukturen diktiert; dass es gemessen, anerkannt, in Besitz genommen, berücksichtigt, bereut und in der Kasteiung und Buße bezahlt werden muss. Zu sagen, dass die Effekte als klein angenommen werden sollten, ist grundsätzlich Blasphemie. Jetzt, um die Forschung als unbegründet anzugreifen, insbesondere auf der Grundlage von Bayesian Prioren, die sich weigern, alle unsere Handlungen als in dieser Erbsünde begründet zu sehen – es ist ein Konflikt der grundlegenden Weltanschauung, der Religion. Von Identität. Es ist ein "Haidt-Stil" -Konflikt. Wie alle wissen, den Lebensunterhalt einer Person, ihr Vermächtnis und ihre Religion angreifen?

"So ist das Vitriol im Nachhinein selbsterklärend. Eine Frage ist, ob und wie Statistiken davon entwirrt werden. Das würde eine Erforschung von Alternativen, die Frage der Wissenschaft als eine Art des Wissens und so weiter erfordern. Der Einsatz ist offensichtlich hoch. "

UNTEN LINIEN

1. Ich bezweifle, dass die Online-Präsenz von Wissenschaftsreformern durch Fiskes Aufsatz abgeschreckt wird.

2. Es ist meiner Meinung nach gut für die psychologische Wissenschaft, die sie nicht haben werden.

3. Fiske hat zweifellos Recht, dass einige Online-Diskurse unter Wissenschaftlern unzivilisiert sind. Unhöflichkeit ist schlecht. Ich stimme völlig zu, dass der zivile Diskurs gefördert und der unzivilisierte Diskurs entmutigt werden sollte.

4. Der zivilisatorische Diskurs zwischen Akademikern geht den neuen Online-Medien voraus und findet routinemäßig in den Outlets statt, für die ihr Essay plädierte (zB Peer-Review).

5. Viele der Antworten auf Fiskes Essay zeigen, dass Probleme und Fehlfunktionen in der psychologischen Wissenschaft aus dem alten System entstanden sind und wahrscheinlich ohne eine grundlegende Reform dieses Systems nicht gelöst werden können.

6. Aber im Pantheon der Probleme, die die psychologische Wissenschaft plagen, ist die Ungerechtigkeit die geringste ihrer Sorgen.

Viele glauben, dass die wissenschaftliche Psychologie so von problematischen Praktiken durchsetzt ist, dass es schwierig oder unmöglich geworden ist zu wissen, was tatsächlich wahr ist und was nicht. Es ist das alte System, das diese Krise hervorgebracht hat. Die Bemühungen um eine Reform der Wissenschaft haben nicht alle Antworten – aber sie werden zumindest gesucht.

Versuche, solche Kritik zu unterdrücken, sind zutiefst dysfunktional.