Wie viele Amazon MTurk Survey-Takers gibt es?

Heutzutage haben die experimentellsten Verbraucherforscher (ganz zu schweigen von Sozialpsychologen, Politikwissenschaftlern, Verhaltensökonomen usw.) Schüler-Fächer-Pools durch Arbeiter von Amazon Mechanical Turk (MTurk) ersetzt oder ergänzt, um ihre Forschung zu betreiben. Die Verwendung von MTurk-Umfrageteilnehmern für die Forschung ist bequem, billig und schnell. (Es ist auch oft ausbeuterisch, aber das ist ein anderer Blogpost).

Quelle: Zol Korabi von Rolo Natkys Flickr Lizenziert unter CC BY 2.0

Es ist kein Wunder, dass derzeit jedes Jahr Zehntausende von Psychologie-Studien mit MTurk-Arbeitern als Umfrageteilnehmer durchgeführt werden. (Als ich auf MTurk suchte, während ich diesen Blogpost schrieb, standen mir 319 Umfragen als MTurk-Mitarbeiter zur Verfügung, und ich habe nicht einmal die MTurk-Master-Qualifikation!)

Angesichts der Tatsache, dass heute ein erheblicher Teil der sozialwissenschaftlichen Forschung auf MTürkische Arbeitskräfte angewiesen ist, ist es sicherlich wert, mehr über diese Menschen zu erfahren. Diese Information hat Einfluss auf die Validität der durchgeführten Forschung. Es gibt viele wichtige Fragen zu stellen wie:

• Wer sind diese Leute?
• Beantworten sie Umfragen ernsthaft?
• Können wir zuversichtlich sein, dass alles, was wir in dieser Gruppe finden, tatsächlich auf die breite Bevölkerung zutrifft? Mit anderen Worten, sind sie repräsentativ?
• Wie gültig sind Rückschlüsse auf ihre Antworten? Worüber sollten wir uns Gedanken machen?

Jede dieser Fragen lohnt sich. In diesem Beitrag möchte ich jedoch auf eine andere Frage eingehen, auf die ich sehr neugierig war: "Wie viele Umfrageteilnehmer gibt es bei Amazon Mechanical Turk?"

• Wenn Arbeit giftig ist
• Achtsame Gefühlsregulierung
• Brainlock 101 – Wie wir nicht helfen können, stecken zu bleiben
• Wird Ihr Sohn oder Ihre Tochter von Amphetaminen betreut?
• Meine vier großen Fehler

Warum ist diese Frage wichtig?

Inspiriert von einer Studie, die ich später in diesem Beitrag besprechen werde, ist es hilfreich, sich die Amazon MTurk Site als einen Teich anzusehen, jede Forscherin als Fischerin oder Fischerin und jeden MTurker als Fisch. Jedes Mal, wenn ein Forscher eine Studie veröffentlicht, werfen sie ein Netz, um mehrere hundert Fische zu fangen. Sie fangen und geben den Fisch frei, aber dabei extrahieren sie etwas "Essenz" aus dem Fisch in Form von Antworten auf Umfragefragen, die den Fisch aus seinem ursprünglichen Zustand verändern.

Zurzeit werden im MTurk-Teich jede Woche (meistens) Akademiker und zunehmend auch professionelle Meinungsforscher tausende Male Netze geworfen. Daher sind die Fragen nach "gibt es genug Fisch?" Oder ob wir alle meistens den gleichen Fisch fangen, signifikant.

Ein großer Pool von Befragten hat drei Vorteile: (1) eine größere Chance, verschiedene Merkmale zu finden, und eine ausreichende Anzahl von Befragten mit einer bestimmten Eigenschaft, z. B. starke Fernsehzuschauer oder Wanderfreunde; (2) mehr "frische" nicht kontaminierte Befragte, die die Aufgabe der Beantwortung der Umfrage ernst nehmen und dies mit Gedanken und Ehrlichkeit tun (dh jemand, der die allgemeine Selbstkontrollskala oder den sozialen und wirtschaftlichen Konservatismus nicht beantwortet hat, skaliert ein Dutzend bereits jetzt) ​​und (3) eine größere Wahrscheinlichkeit einer Stichprobe, die für die gesamte Bevölkerung repräsentativ ist (obwohl dies nicht garantiert ist).

• Der weite Blick auf die Erforschung von Videospielen und Aggression
• Attraktionen, die sauer werden: Das Gute und das Schlechte der Komplementarität
• Warum ist es so schwer, die Beschlüsse des neuen Jahres zu halten?
• Studenten können viel von aktuellen Ereignissen lernen
• Weise Worte

Direkt aus dem Maul des Pferdes – Die MTurk Website?

Der logische erste Ort, um nach der Antwort zu suchen, ist die MTurk-Site selbst. Sie würden erwarten, dass Amazon diese täglich aktualisierten Informationen aus zwei Gründen bereitstellt. Erstens sind dies wichtige Informationen für die Kunden von Amazon (die akademischen und kommerziellen Forscher), die sie teuer bezahlen, um die Website zu nutzen. Ohne Frage würde dies die Qualität der Forschung verbessern, die mit der Website durchgeführt wird. Und zweitens wissen sie bereits, wie viele MTurker die Website nutzen, daher ist es sehr einfach (und billig), sie zu extrahieren und zu veröffentlichen. Aber leider ist das nicht der Fall.

Ihr Anspruch "Zugang zu mehr als 500.000 Arbeitern aus 190 Ländern" ist ziemlich bedeutungslos, weil sie ungenau ist und sich seit Jahren nicht verändert hat. Außerdem ist nicht klar, wie viele dieser angeblich eine halbe Million Menschen tatsächlich Umfragen machen oder von der Website kommen und gehen.

Nebenbei bemerkt, es ist überwältigend und eine echte Schande, wie viele renommierte Medien wie der Guardian, das Wall Street Journal und sogar Forschungseinrichtungen wie das Pew Research Center diese zwielichtige Nummer melden. Auch wenn das nicht ganz "falsche Nachrichten" sind, scheint es für mich "faule Nachrichten" zu sein, weil es den Rest der berichteten Geschichte verzerren kann.

Nicht cool, Amazon und große Medien! Ok, wir brauchen jetzt andere Quellen, um die Nummer zu finden.

Stewartet al. Studie, Urteil und Entscheidungsfindung, 2015.

Der Psychologieprofessor Neil Stewart und ein Team von Forschern aus sieben verschiedenen Labors, die über verschiedene Länder verteilt sind, haben die umfassendste und beeindruckendste Studie (in Bezug auf Größe und Dauer) durchgeführt, um diese Frage, die ich finden konnte, zu beantworten. Von Januar 2012 bis März 2015 decken sie die MTurk-Datensammlung aus allen ihren Labors ab und verwenden eine coole statistische Methode, die Ökologen normalerweise verwenden, um die Population eines bestimmten Tieres oder Vogels in freier Wildbahn zu ermitteln Zugang zu einem Pool von rund 7.300 Befragten zu jeder Zeit. Sie fanden auch, dass 26% der MTurk-Umfrageteilnehmer jedes Quartal "in Rente gehen" und sie von neuen Arbeitern aufgefüllt werden. Bemerkenswert ist auch, dass in ihren Labors überwiegend US-amerikanische Befragte beschäftigt waren. Ich war beeindruckt von ihrem Vergleich:

"Somit ist die Bevölkerung, die ein durchschnittliches Labor erreichen kann, nur ein paar Mal größer als der aktive Teilnehmerpool an einer typischen Universität (Kurskreditpools haben eine relativ hohe Aufnahme), mit einer Fluktuationsrate, die dem Kommen und Gehen nicht unähnlich ist von Studenten. "(S. 485)

Die MTurk-Umfrageteilnehmer sind also wie ein Studentenfächer auf Steroiden!

Einige ihrer anderen Schlussfolgerungen sind zumindest zum Nachdenken anregend. Rund 65% ihrer Umfrageteilnehmer nahmen an mehreren Studien teil, die von demselben Labor durchgeführt wurden (ich habe diesen Wert durch Betrachten von Abbildung 5 in ihrer Arbeit erhalten). Es ist sehr wahrscheinlich, dass diese verschiedenen Studien unterschiedliche Themen betrafen, aber dies ist immer noch nicht ideal. Und etwas mehr als 50% der Teilnehmer nahmen an Studien aus mehreren Labors teil. Dies ist der Fisch, der gefangen, freigelassen und wieder gefangen und wieder losgelassen und wieder gefangen wird, und so weiter und so fort.

Ich konnte zwei weitere Schätzungen älterer Provenienz finden und / oder verwenden, was ich für weniger zuverlässige Methoden hielt:

• Eine Studie von Karen Fort, Gilles Adda und K. Bretonnel Cohen aus dem Jahr 2011 über Computerlinguistik schätzte die Zahl der Umfrageteilnehmer auf 15.059 bis 42.912. Dies basierte auf Umfragen, die von einer Gruppe von MTurker-Mitarbeitern durchgeführt und mit Expertenmeinungen angepasst wurden. Dazu gehörten auch Nicht-US-Befragte (eine große Anzahl von Arbeitnehmern kommt aus Indien).
• Ein anonymer Kommentator von Reddit gab an, dass sie in einer Woche 6.000 eindeutige Responder erhalten konnten, da keine Bedingungen oder Einschränkungen hinsichtlich der Teilnahme an ihrer Studie bestanden.

Also was soll man mit diesen Zahlen machen?

Um eine Perspektive zu geben, behauptet das Online-Panel-Unternehmen YouGov, dass es ein Online-Panel von 4 Millionen Panelisten in 37 Ländern und ein US-Panel von 1,8 Millionen Panelisten hat. In ähnlicher Weise behauptet SurveyMonkey, ein Online-Panel von mehr als 30 Millionen Menschen zu haben, und Slice Intelligence, um 4,2 Millionen Menschen in seinem Online-Panel zu haben. Offensichtlich sind dies nur Behauptungen, ähnlich wie Amazons "Über 500.000 …" Behauptung, und es ist unmöglich, irgendwelche von ihnen zu überprüfen.

Wenn ich zurück nach Amazon MTurk komme, scheint es mir, dass es nicht so viele Fische gibt und dass viel zu viele Netze in den MTurk-Teich geworfen werden. Dies ist sicherlich keine gute Nachricht, wenn Sie ein psychologischer Forscher sind, da die überwiegende Mehrheit der MTurk-Mitarbeiter Dutzende, wenn nicht gar Hunderte von anderen Umfragen in kurzer Zeit durchgeführt hat. Es ist sehr wahrscheinlich, dass viele von ihnen mitten in einer Marathon-Sitzung sind. Dies kann zu allen möglichen Problemen führen, wenn der Forscher versucht, eine psychologische Manipulation wie eine Stimmungsinduktion oder eine bestimmte Denkweise usw. hervorzurufen (Mehr dazu in einem zukünftigen Post).

Zu viele Fischer, nicht genug Fisch.

Das ist also das Bild, das uns bleibt. Stellen Sie sich einen Teich vor, in dem zu jeder Zeit etwa 10.000 Fische schwimmen. Und dann stell dir vor, Zehntausende von Fischern und Fischerinnen reihen sich um den Teich herum und werfen ihre Netze jede Woche tausende Male, fangen die Fische, untersuchen sie und lassen sie wieder los, fangen, sondieren, lösen, fangen, sondieren und lösen dann und weiter. Kein Wunder, dass ein Viertel der Fische alle drei Monate in den Ruhestand geht. Sie sind wahrscheinlich ausgebrannt von den vielen Sondierungen der Fischer. Das ist es, was die Verwendung von MTurk-Arbeitern für die sozialwissenschaftliche Forschung ungefähr Anfang 2017 ausmacht. Kein schöner Anblick.

PS:

Nachdem ich diesen Beitrag geschrieben hatte, schickte mir Kristy Milland (Twitter handle: @TurkerNational) einen Link zu einer Studie, die sie durchführte (siehe ihre Kommentare unten). Über einen Zeitraum von sechs Wochen im Jahr 2015 erhielt sie 25.293 einzigartige US-amerikanische Teilnehmer und insgesamt 30.002 Teilnehmer (die meisten von ihnen kamen aus Indien), um ihren Erfolg abzuschließen. Beachten Sie, dass dies alle MTurker und nicht nur die Umfrageteilnehmer umfasst. Der Link zu Kristys Studienergebnis finden Sie hier.

Über mich

Ich unterrichte Marketing und Preise für MBA-Studenten der Rice University. Sie können weitere Informationen über mich auf meiner Website finden oder folgen Sie mir auf LinkedIn, Facebook oder Twitter @ud.