Wie man vermeidet, durch Meinungsumfragen betrogen zu werden

Laut einer Schlagzeile auf der Website des Cosmopolitan Magazine, "Umfrage zeigt, dass die meisten Amerikaner denken, Caitlyn Jenner wird die Welt verändern." Ich werde Chancen, die meisten Amerikaner würden überrascht sein zu erfahren, dass dies ist, was sie denken. Nimm mich zum Beispiel. Ich bin der Meinung, dass Caitlyn Jenner mehr getan hat, als sich zu verändern, vielen Dank. Bedeutet das, dass ich kein "mostest" Amerikaner bin?

Eigentlich geht es in meinem Artikel nicht um Caitlyn Jenner, segne ihr Herz (wie wir Südländer sagen). Es geht um fehlbare Umfragen und die verdrehten Interpretationen, wie sie von den Medien häufig berichtet werden. Wer auch immer die obige Überschrift geschrieben hat, wusste, dass es ein Hype war oder nicht wusste und sich nicht darum kümmerte. Ich weiß nicht, was schlimmer ist. Vielleicht sind sie beide (schlimmer, das ist). Es gibt nichts in der Umfrage, dass Jenner die Welt verändert hat. Im besten Fall deutet es darauf hin, dass sie dazu beitragen könnte, die Akzeptanz des Transgenderismus zu erhöhen.

Die Umfrage wurde gemeinsam von NBC News und der University of Pennsylvania durchgeführt. Klingt glaubwürdig, oder? Das solltest du denken. Der Zweck dieser Umfrage ist es, Ihr Denken zu beeinflussen. Die nicht so subtile Implikation ist, dass Sie in der rückständig denkenden Minderheit sind, wenn Sie nicht zustimmen. Aber warum diese Umfrage zu diesem Thema? Und warum jetzt? Was verkaufen sie? Dies sind die Arten von Fragen, die eine Grundlage zum Testen der Vorzüge dieser oder anderer Umfragen bieten.

Wenn eine Umfrage verwendet werden soll, um die Meinungen einer Mehrheit der Amerikaner (oder einer anderen großen Gruppe) zu vertreten, muss sie mit wissenschaftlich fundierten Methoden durchgeführt werden. Ansonsten ist es nichts anderes als die Meinung derjenigen, die an der Umfrage teilgenommen haben. Keine Umfrage ist absolut makellos und makellos. Es gibt immer einen Spielraum für Stichprobenfehler oder Verzerrungen. Wir müssen sehen, ob wir die Fehler finden und feststellen können, ob sie von minimaler oder größerer Bedeutung sind. Lass uns einige Hinweise herausfinden.

Der erste Hinweis ist sehr subtil – wie ein Baseballschläger, der mit Warpgeschwindigkeit auf die Nasenwurzel schlägt. Die Umfrage wurde unter Verwendung einer Nicht-Wahrscheinlichkeits-Stichprobe durchgeführt . Im einfachen Englisch wurden die Teilnehmer der Umfrage nicht zufällig ausgewählt. Manchmal ist dieser Ansatz notwendig, da Stichproben zu mühsam oder teuer sind. Es gibt verschiedene Arten von Nicht-Wahrscheinlichkeits-Sampling, einige besser als andere für diese Art von Umfrage. Die Meinungsforscher verwendeten Convenience Sampling, dh sie verließen sich auf Personen, die sich freiwillig beteiligten.

Convenience Sampling untergräbt die Behauptung, dass die meisten Amerikaner mit den Ergebnissen einverstanden sind. Personen, die sich freiwillig beteiligen, haben vielleicht eine persönliche Agenda, eine voreingenommene Perspektive, eine emotionale Verbindung zu dem Thema oder antworten einfach, weil ihnen eine Belohnung für die Teilnahme versprochen wurde. (Ich habe keine Informationen darüber, ob NBC News / UPenn eine Belohnung angeboten hat.) Angenommen, Sie würden eine Umfrage zu den Ansichten der Amerikaner über die Anhebung des Mindestlohns durchführen. Würden Sie den Ergebnissen vertrauen, wenn die einzigen Befragten diejenigen wären, die freiwillig ihre Meinung zu diesem Thema abgeben? Zu behaupten, dass die Ergebnisse einer solchen Umfrage die Ansichten der meisten Amerikaner repräsentieren würden, wäre weit hergeholt.

Wie es in der akademischen Forschung erwartet wird, erkennen die UPenn-Meinungsforscher diese Einschränkungen in ihrer Methodik an:

Da die Stichprobe sich auf diejenigen stützt, die sich ursprünglich für die Teilnahme und nicht für eine Wahrscheinlichkeitsstichprobe entschieden haben, können keine Schätzungen des Stichprobenfehlers berechnet werden. Alle Umfragen können mehreren Fehlerquellen unterliegen, einschließlich, aber nicht beschränkt auf Stichprobenfehler, Überdeckungsfehler und Messfehler.

Eine weitere Schwachstelle besteht darin, dass die Umfrageantworten über Online- Umfrage (z. B. über Survey Monkey) erfasst wurden. Mit Online-Polling als Mittel zur Datenerfassung ist nichts verkehrt. Das Problem besteht darin, dass ältere Menschen, insbesondere diejenigen über 70, mit geringerer Wahrscheinlichkeit auf eine Online-Umfrage reagieren. Sie können daher in der Stichprobe unterrepräsentiert sein, was wiederum die Behauptung unterminiert, dass die Umfrage repräsentativ für die meisten Amerikaner ist.

Da diese Umfrage von NBC News in Auftrag gegeben und an andere Medien wie Cosmopolitan verteilt wurde , liegt die begründete Annahme nahe, dass sie in Auftrag gegeben wurde, um Nachrichten zu verbreiten und den Zuschaueranteil und Klickraten zu steigern. (Oh, für jene glücklichen Tage, als die Medien die Nachrichten nicht machten, verkauften sie sie einfach.)

Die UPenn-Meinungsforscher haben sich angesichts des Umfangs ihrer Aufgabe und der zeitlichen und finanziellen Zwänge ungefähr so ​​gut entwickelt, wie zu erwarten war. Ein unvollständiges Forschungsdesign führt jedoch zu unvollständigen Ergebnissen. Dies sind sicherlich keine Ergebnisse, die die Behauptung stützen, dass "die meisten Amerikaner denken, dass Caitlyn Jenner die Welt verändern wird".

Welt zu Caitlyn: Wechseln Sie nicht.