Psychologie der wissenschaftlichen Integrität: Graduate Syllabus

Die Psychologie der wissenschaftlichen Integrität: der Graduate Sylla

Erforderliche Messwerte

HINWEIS: Alle unten aufgeführten Messwerte sind Links. Wenn Sie interessiert sind, können Sie die meisten Artikel im Original lesen. Gelegentlich können Sie aufgrund von Copyright-Problemen im Journal nur das Abstract sehen. oder Sie benötigen möglicherweise ein Abonnement für eine Mainstream-Nachrichtenagentur. In den meisten Fällen können Sie jedoch, wenn Sie einer Hochschule angeschlossen sind, über ihr Bibliothekssystem auf die Quelle zugreifen.

TEIL I: EINFÜHRUNG

• Die peinlichsten Momente, wenn du groß bist
• Bekommen wir Ernährung alle falsch?
• Warum das Gefühl der Unsichtbarkeit könnte ein Schlüssel sein, um sich besser zu fühlen
• "Nur Kopfschmerzen?" Du hast noch nie eine Migräne gehabt
• Die Psychophysiologie des Flusses und deines Vagusnervs

Was ist das Problem?

Quelle: Magier Will Fern **

Freedman (November 2010). Lügen, verdammte Lügen und medizinische Wissenschaft. Der Atlantik.

Neuroskeptiker (2012). Die neun Kreise der wissenschaftlichen Hölle.

• 3 Strategien, um übermäßiges Essen zu stoppen
• Zunder Benutzer sind anders als Online-Dater und hier ist wie
• Vier mögliche Erklärungen für Online-Dating-Ablehnung
• Messe Wettbewerbe Vs. "Fair" (gleichmäßige) Ergebnisse
• Kognitive Vielfalt

Lehrer, J. (13. Dezember 2010). Die Wahrheit klingt ab. Der New Yorker.

Was soll Wissenschaft sein?

https://en.wikipedia.org/wiki/Science

https://en.wikipedia.org/wiki/Scientific_method

https://en.wikipedia.org/wiki/Data_sharing

TEIL II: ANTWORT UND IHRE AUFLAGEN

Ist psychologische "Wissenschaft" nicht nachvollziehbar?

OSF (2015). Schätzung der Reproduzierbarkeit der psychologischen Wissenschaft. Science, 349, doi: 10.1126 / science.aac4716.

Jussim (2012). Einhörner der Sozialpsychologie. Psych heute .

Jussim (2012). Sozialpsychologische Einhörner: Scheitern gescheiterte Replikationen wissenschaftliche Mythen? Psych heute.

Henrich et al (2010). Die verrücktesten Menschen der Welt? Verhaltens- und Gehirnwissenschaften, 33, 61-135.

Funder (2012). Die gefährliche Notlage des Nicht-Replikators. Fundersturm.

Dreber et al. (2015). Prognosemärkte nutzen, um die Reproduzierbarkeit wissenschaftlicher Forschung zu schätzen. PNAS, 112, 15343-15347.

Sind wir Soziopathen, inkompetent oder beides?

Simmons et al. (2011). Falsch positive Psychologie: Nicht offengelegte Flexibilität bei der Datensammlung und -analyse erlaubt es, etwas als signifikant darzustellen. Psychologische Wissenschaft, 22, 1359-1366.

Quelle: Lee Jussim. Du nennst mich Soziopath?

Johns et al. (2012). Messung der Verbreitung fragwürdiger Forschungspraktiken mit Anreizen zur Wahrheitsermittlung. Psychologische Wissenschaft, 23 , 524-532.

Schimmack, U. (2012). Der ironische Effekt signifikanter Ergebnisse auf die Glaubwürdigkeit mehrerer Studienartikel. Psychologische Methoden, 17, 551-566.

Vul et al. (2009). Erstaunlich hohe Korrelationen in fMRT-Studien zu Emotionen, Persönlichkeit und sozialer Kognition. Perspektiven auf die psychologische Wissenschaft, 4 , 274-290.

Wicherts et al. (2011). Die Bereitschaft, Daten zur Verfügung zu stellen, hängt mit der Stärke der Evidenz und der Qualität statistischer Ergebnisse zusammen. PLoS Eins, 6 (11 ): e26828. doi: 10.1371 / journal.pone.0026828

Warte: Ich bin ein Wissenschaftler, alles ist nur gut

Gilbert et al. (2016). Kommentar zu "Schätzung der Reproduzierbarkeit der psychologischen Wissenschaft." Science, 351, 1037.

Quelle: Lee Jussim. Nur weil ich tief im Schnee in 11500 Fuß Tiefe auf einem abgelegenen Colorado-Berg verschwende, heißt das nicht, dass nicht alles in Ordnung ist.

Fiedler, K., & Schwartz, N. (2015). Fragwürdige Forschungspraktiken wurden überarbeitet. Sozialpsychologische und Persönlichkeitsforschung, 7, 45-52.

Zwischen Panik und Selbstzufriedenheit …

Jussim (2016). Veröffentlichen die meisten sozialpsychologischen Befunde falsch? Psych heute.

Inzlicht (2016). Mit der Vergangenheit rechnen. Besser werden.

Simonsohn (2016). Replikationen bewerten: 40% voll ist nicht zu 60% leer. Daten Colada.

Teil III: ÜBER REPLIKATION

Wissenschaft ist selbstkorrigierend, oder?

Ioannidis, J. (2012). Warum Wissenschaft nicht unbedingt selbstkorrigierend ist. Perspektiven auf psychologische Wissenschaft, 7, 645-654.

Jussim, L. (2015). Langsame & nicht vorhandene wissenschaftliche Selbstkorrektur in der Psychologie. Psych heute.

Jussim (2016). Ist es beleidigend, eine psychologische Behauptung falsch zu erklären? Psych heute

Orenstein (25. April 2013). Unser Wohlfühlkrieg gegen Brustkrebs. New York Times.

NYTimes (2013). Gemeinsame Knieoperation tut sehr wenig für einige

Loeb, A. (2014). Vorteile der Vielfalt. Naturphysik , 617-617.

O'Boyle et al. (2014). Der Puppeneffekt: Wie hässliche Anfangsergebnisse sich in schöne Artikel verwandeln. Zeitschrift für Management, 19 .

Außenseiter durch Design, Freakonomics Podcast.

Am wenigsten Statistiken sind streng, klar und objektiv, oder?

Gelman & Loken (2014). Die statistische Krise in der Wissenschaft. Amerikanischer Wissenschaftler.

Quelle: Lee Jussim. Das ist keine Rakete, es ist eine französische Pressekaffeemaschine. Sein Design und seine Präsenz in einer Wüste in Utah sind außerordentlich statistisch unwahrscheinlich.

Fraley & Vazire (2014). Der N-Pact-Faktor: Bewertung der Qualität empirischer Zeitschriften in Bezug auf Stichprobengröße und statistische Macht. PLoS Eins, 9: e109019. doi: 10.1371 / journal.pone.0109019.

Nuzzo (2014). Wissenschaftliche Methode: Statistische Fehler. Natur , 506 , 150-152.

Westfall et al (2014). Statistische Leistung und optimales Design in Experimenten, in denen Stichproben von Teilnehmern auf Stichproben reagieren. Zeitschrift für Experimentelle Psychologie: Allgemeines, 143, 2020-2045.

Wie man wissenschaftliche Fakten aus der Fiktion erzählt: P-Curving und andere Methoden

Masciampo & Lalande (2012). Eine besondere Prävalenz von p-Werten knapp unter .05. Vierteljährliches Journal der experimentellen Psychologie, 65 , 2271-2279.

Simonsohn et al. (2014). P-Kurve: Ein Schlüssel zur Dateischublade. Journal of Experimental Psychology: General, 143, 534-547.

Simonsohn et al. (2014). P-Kurve und Effektgröße: Korrektur für Publikationsbias mit nur signifikanten Ergebnissen. Perspektiven auf die psychologische Wissenschaft, 9, 666-681.

Franco et al. (2014). Publikationsbias in den Sozialwissenschaften: Entsperren der Dateischublade. Science, 345, 1502-1505.

Simmons et al (2012). Eine 21-Wort-Lösung. Dialoge.

Bakker et al (2012). Die Spielregeln heißen psychologische Wissenschaft. Perspektiven auf psychologische Wissenschaft, 7 , 543-554.

Das Problem der Interpretation: Schlechte Schlussfolgerungen basierend auf guten Daten

Quelle: Shihong Khor

Vazire (2014). Die Einfältigen und die Wirrköpfe.   Manchmal bin ich falsch.

Abramowitz et al. (1975). Veröffentlichen oder politisch: Schiedsrichterfehler in der Manuskriptüberprüfung. Zeitschrift für angewandte Sozialpsychologie, 5, 187-200.

Eagly, A. (1995). Die Wissenschaft und Politik des Vergleichens von Männern und Frauen. Amerikanischer Psychologe, 50, 145-158.

Inbar & Lammers (2012). Politische Vielfalt in der Sozial- und Persönlichkeitspsychologie. Perspektiven auf psychologische Wissenschaft, 7, 496-503.

Jussim (im Druck). Précis der sozialen Wahrnehmung und sozialen Realität: Warum Genauigkeit dominiert Voreingenommenheit und sich selbst erfüllende Prophezeiung. Verhaltens- und Gehirnwissenschaften.

Jussim, Crawford, Stevens & Anglin (2016). Die Politik der sozialpsychologischen Wissenschaft: Verzerrungen in der Sozialpsychologie der Intergruppenbeziehungen. In P. Valdesolo und J. Graham (Hrsg.), Sozialpsychologie der politischen Polarisierung.

Steele & Aronson (1995). Stereotype Bedrohung und die Leistung von Afroamerikanern. Zeitschrift für Persönlichkeit und Sozialpsychologie, 69, 797-811. – präsentiert als Fallbeispiel, wie Daten falsch interpretiert werden können

Jussim (2016). Was erklärt demografische Lücken? Psych heute.

—–

Dieser Eintrag, wie der vorherige, wurde von diesem Blogeintrag von Sanjay Srinivasta inspiriert. Sanjay war an der Spitze der Verbesserung der psychologischen Wissenschaft, und sein Posten war ein faux Lehrplan für einen Kurs mit dem Titel Everything is Fidd: The Syllabus. Sanjay definiert wissenschaftliche Praktiken als solche, wenn sie "… harte konzeptuelle Herausforderungen präsentieren, denen realisierbare Lösungen für arbeitende Wissenschaftler entweder nicht zur Verfügung stehen oder in der Praxis routinemäßig ignoriert werden."

Woche für Woche präsentiert Sanjay's faux course Lesungen, die argumentieren, dass ein Aspekt dessen, was wir als "gute" Wissenschaft in der Psychologie angenommen haben, voll ist. Dazu gehören Experimente, Bewertungen, Statistiken, Meta-Analyse, Replikation und mehr.

Die Sache ist, ich unterrichte seit 2014 zwei aktuelle Kurse über das gleiche Thema. Der hier vorgestellte Kurs ist mein Graduiertenkurs. Mein vorheriger Post, meines Bachelorstudiums, ist eher ein guter, allgemeiner Überblick für den interessierten Laienleser, entweder mit einer Grundausbildung am College oder mit viel gelesenem und angemessenem Rechnen (man braucht eigentlich auch keine College-Ausbildung).

Der Kurs hat jedoch einige allgemeine Quellen, aber viele technische Lesarten. Nichts heilig an ihnen, aber sie sind diejenigen, die ich zugewiesen habe. Ich habe diesen Kurs im Frühjahr 2015 unterrichtet, und seitdem habe ich alle möglichen interessanten Quellen entdeckt (eine ganze Menge auf Sanjay's Seite). Viele werden wahrscheinlich in das nächste Mal, wenn ich den Kurs unterrichte, einbezogen werden.

Überblick

Dieser Kurs für graduierte Methoden konzentriert sich auf die sich rasch entwickelnden Veränderungen im Verständnis darüber, was beste Praktiken bei der Durchführung wissenschaftlicher Forschung sind. Unter "wissenschaftlicher Forschung" verstehe ich jeden Aspekt der Praktiken, die bei der Produktion von wissenschaftlichem Wissen eine Rolle spielen.

Ich verwende den Begriff "wissenschaftliche Integrität", um auf zwei verwandte, aber getrennte Ideen Bezug zu nehmen: 1. Die persönliche Ehrlichkeit einzelner Wissenschaftler bei der Durchführung und Berichterstattung ihrer Forschung; und 2. Entwicklung robuster Gremien mit Schlussfolgerungen, die gültig und unbeeinträchtigt sind. Offensichtlich können unehrliche oder irreführende Praktiken die Wissenschaft beeinträchtigen. Während persönliche Unehrlichkeit Probleme wie Datenbetrug erklären kann, sind solche Fälle extrem selten und nicht Gegenstand dieses Kurses.

Es ist die zweite Bedeutung des Begriffs wissenschaftliche Integrität, die im Mittelpunkt dieses Kurses stehen wird.

Selbst wenn Forscher keinen Mangel an persönlicher Integrität haben, können herkömmliche Praktiken, die auf ihrem Gebiet üblich sind, zu irreführenden oder ungültigen Ergebnissen führen. In diesem Sinne entspricht die wissenschaftliche Integrität dem herkömmlichen Verständnis des Begriffs "Gültigkeit", obwohl der Schwerpunkt dieses Kurses von der traditionellen Überprüfung der Gültigkeitstypen abweicht (Gesicht, innerlich, äußerlich, ökologisch, usw. – solche Formen sind vermutlich) abgedeckt durch unseren regulären Methodenkurs)

In der Wissenschaft geht es darum, "es richtig zu machen" (SPSP Task Force, siehe erste Woche Lesungen). Es geht darum, Behauptungen und Schlussfolgerungen zu generieren, die wahr sind. Dies beinhaltet: 1. Die Generierung von gültigem neuen Wissen; und 2. Entwicklung der Werkzeuge, die benötigt werden, um aus vorhandenen Forschungsergebnissen zu bestimmen, welche Schlussfolgerungen zutreffen und welche nicht.

Nur weil eine Behauptung veröffentlicht wird, macht sie sie nicht "wahr". Sobald dies erkannt ist, wird eine natürliche Frage: "Wie können wir unterscheiden, was wahr ist von was nicht wahr?" Das ist eine Aufgabe für neue Methoden und Statistiken, neu verwendet für alte Methoden und Statistiken und konzeptionelle Werkzeuge, um zu bestimmen, wie systematische Fehler und Verzerrungen in einer wissenschaftlichen Literatur identifiziert werden können.

Ein kurzer, aber wichtiger Tangens

Viele Sozialpsychologen lehnen es ab, einige Behauptungen als "falsch" zu erklären. Dies scheint zu geschehen, weil es scheinbar oft als persönlicher Angriff auf den Antragsteller wahrgenommen wird, um einen wissenschaftlichen Anspruch als "falsch" zu erklären. Siehe Ist es offensiv, einen psychologischen Anspruch falsch zu erklären ? für mehr Details dazu.

Nichtsdestotrotz wird dieser Kurs die Rolle der popperianischen Fälschung bei der Erstellung und Auswertung wissenschaftlicher Erkenntnisse betonen. In diesem Zusammenhang geht es nur um Identifikation und um die Verfälschung wissenschaftlicher Daten durch Daten. Darüber hinaus umfasst es inhärent die Fähigkeiten zu erkennen, wenn wir es falsch verstanden haben. Betrachten Sie Folgendes von Richard Alpert, dem früheren Präsidenten der National Academy of Sciences (zitiert in The Economist, 2013):

"Und die Wissenschaftler selbst müssen ein Wertesystem entwickeln, in dem die bloße Weitergabe der eigenen Fehler, ohne sie öffentlich anzuerkennen, den wissenschaftlichen Ruf schädigt und nicht schützt."

Daher wird die Entwicklung der wissenschaftlichen, wissenschaftlichen, intellektuellen und methodologischen Werkzeuge, um aus unwahren wissenschaftlichen Schlussfolgerungen, Behauptungen und Schlussfolgerungen wahre zu bestimmen, ein zentraler Schwerpunkt dieses Kurses sein.

Kursziele

Dieser Kurs verfolgt drei Hauptziele: 1. Quellen und Erscheinungsformen suboptimaler Praktiken in der wissenschaftlichen Forschung zu verstehen (nicht reproduzierbare Ergebnisse, unreplizierbare Studien, nicht verfügbare Daten, ungültige oder unartikulierte statistische Analysen und methodische Verfahren, irreführende oder übertriebene Schlussfolgerungen usw.), 2. Um die derzeit laufenden Reformversuche zu überprüfen und kritisch zu bewerten, welche Bedrohungen für die wissenschaftliche Integrität sie zu haben scheinen, wie erfolgreich sie sein werden, wie sie ihren Erfolg empirisch bewerten können und welche Bedrohungen für die wissenschaftliche Integrität sie kaum bewältigen können ; und 3. eine Einführung in die konzeptionellen und empirischen Werkzeuge geben, die derzeit zur Verfügung stehen, um zu bestimmen, wie die bestehenden Ansprüche, aus denen die bestehenden Beweismittel bestehen, gültig sind.

Klassenstruktur

In den meisten Kursen werden die Lesungen dieser Woche besprochen (siehe Benotung unten). Allerdings, wenn neue methodische oder statistische Techniken (zB Tests für übermäßige Signifikanz, Funnel Plots, P-Curving, Unglaubwürdigkeit Indizierung, N-Pakt-Faktor-Bewertung, Konfidenzintervalle [nicht neu im großen Schema der Dinge, aber neu erforderlich und vielleicht , die vielen Studenten unbekannt sind], werden vorgestellt, ich kann einen Teil oder die ganze Klasse unterrichten.

Einstufung

Diskussionsleitung: 20%

Es wird jede Woche mehrere Lesungen geben. 1-2 Studenten müssen: 1. eine Reihe von Fragen stellen; 2. Zirkulieren Sie sie mindestens 3 Tage vor dem Unterricht; 3. Initiieren, führen und fokussieren Sie die Diskussion der Lesungen dieser Woche.

Teilnahme: 20%

Wie alle meine anderen Klassen, außer 522 (2. Grad Stat-Klasse), ist die Teilnahme ein notwendiger und fester Bestandteil der Klasse.

Zusammenfassungen: 10%

Vor allem, um sicherzustellen, dass sie im Allgemeinen die erforderlichen Artikel tatsächlich lesen, müssen sie eine kurze Zusammenfassung jedes Artikels bereitstellen.

Hauptarbeit: 50%

Die Hauptarbeit wird die Verwendung einer der neuen Techniken zur Bewertung der Forschungsvalidität beinhalten (z. B. Bereitstellung eines Funnel Plot oder einer P-Kurve bezüglich Studien in einer Meta-Analyse); Verwendung einer einfachen Technik zur Bewertung der Forschungsqualität (z. B. Fehler oder Unvollständigkeiten in Forschungsbereichen) und / oder Beschaffung von Daten aus einer veröffentlichten Quelle und Bewertung, ob die Ergebnisse reproduziert werden können (Anmerkung: Ich verwende den Begriff "reproduzieren") Die Antwort auf die Frage: Wenn man nach der Veröffentlichung der Daten die genaue Analyse durchführt, die die Autoren beschreiben, erhält man das exakt gleiche Ergebnis?

** Manche mögen argumentieren, dass Magier Will Fern, im Gegensatz zu einigen, die für "wissenschaftliche" Psychologie gelten, zugeben, dass er Illusionen erzeugt.