4 Änderungen, die ich machen werde, wenn ich Amazon MTurk für Forschung benutze

Quelle: Sign in Santa Cruz von Robert Couse-Baker unter CC BY 2.0 lizenziert

Vor ein paar Tagen beschrieb ich meine eher intensive und nicht ganz angenehme Erfahrung in Teilzeitarbeit Amazon Mechanischer Türke (MTurk)   Arbeitnehmer. Diese Erfahrung hat mich nicht nur so "erschüttert und gerührt", sondern hat mich auch über Änderungen nachdenken lassen, die ich machen muss, wenn ich MTurk als Forscher wieder benutze, um Umfrage- oder Versuchsdaten zu sammeln.

Hier ist meine Liste von vier Änderungen, die ich machen möchte, wenn ich MTurk verwende, um meine Arbeit zu posten (Mitforscher sind herzlich eingeladen, J beizutreten).

1. Lohnarbeiter doppelt so viel!

Die Frage der Bezahlung war vielleicht die auffälligste Offenbarung aus meiner Erfahrung und eine, die unmöglich wäre, ohne eine Woche lang in einem MTurk-Arbeiterschuh gelandet zu sein. Bisher habe ich, als ich meine Umfragen bei MTurk veröffentlicht habe, an Arbeiter auf sehr abstrakte und unscharfe Weise gedacht, wenn ich überhaupt an sie gedacht habe.

Da ich zuvor in kommerzieller Marketingforschung gearbeitet habe, gab es im Hinterkopf einen vernichtenden Sinn, dass ich meine Daten für einen Schnäppchenpreis erhielt (ich arbeitete einmal an einem Forschungsprojekt mit Gefangenen, und selbst solch ein in sich geschlossenes Publikum kostet ungefähr $ 3 / Umfrage); aber ich habe es abgetan. Zu welchem ​​Preis? Nach meiner Arbeitserfahrung ist es für mich klar, dass ich nicht genug für den Wert bezahlt habe, den ich von den MTurker-Mitarbeitern bekomme.

• Alles über mich!
• Umzug und Co-Parenting
• Einsicht in Voreingenommenheit
• Gewohnheiten sind alles
• Statistische Mythen über das japanische Erdbeben

Für eine 6-7-minütige Umfrage bot ich zwischen $ 0,40 und $ 0,60 an, abhängig von der Anzahl offener Fragen, Passagen lesen und verstehen usw. Ab jetzt biete ich mindestens 1,00 $ an. Mit meinem begrenzten Forschungsbudget bedeutet diese einseitige Gehaltserhöhung, dass ich mich bei der Planung und Planung von Studien und bei der Durchführung von weniger Studien am Frontend stärker engagieren muss.

(Und ich bin mir darüber im Klaren, dass Amazon vor kurzem die Kommission, die sie den Forschern vorschreiben, beträchtlich erhöht hat. Aber so wie ich das sehe, ist das ein ganz anderes Thema, das am besten den wilden Kämpfern überlassen wird.

Da geht's, ein Marketingprofessor, der doppelt zahlt! Seltsam, ich weiß.

• Der wesentliche Vater
• Vertraut Ihr Chef Ihnen?
• Consumer Self-Bericht Daten: Sie können fragen, was, aber nicht warum
• Erziehung: Lobe deine Kinder nicht!
• Lass deinen Körper deine Führung sein

2. Kontrollieren und pflegen Sie die Qualität der Umfrage sorgfältig

Vom Standpunkt der MTurker Arbeiter aus schmerzt alles, was sie verlangsamt, sowohl kognitiv (wie sie denken und auf Fragen antworten) als auch im Taschenbuch! Solche Schmerzpunkte können viele Dinge beinhalten. Fragen, die Zungenbrecher sind, schlecht oder zweideutig formuliert, Rechtschreibfehler, Grammatikfehler, verschlungene Umfragen, Aufgaben, bei denen die Befragten länger als zwei Minuten sitzen bleiben, während eine Digitaluhr quälend herunterrennt, offene Fragen, die Menschen zum Schreiben zwingen eine gewisse Anzahl an Wörtern (oder Zeichen; ich fühle, dass mehr als 100 Zeichen zu viel sind), zu lange Umfragen (alles andere als 70 Fragen sind meiner Ansicht nach zu lang) tragen alle sehr zu den Schmerzen bei den Umfrageteilnehmern bei.

In den Studien, die ich (oder meine Co-Autoren) auf MTurk gepostet habe, waren wir im Allgemeinen gut über diese Dinge. Aber wir schwanken von Zeit zu Zeit. Manchmal miscodieren wir einen Antworttyp in einer Frage so, dass ein Leerzeichen, das eigentlich mit Text gefüllt werden sollte, eine Antwort auf eine E-Mail-Adresse erzwingt. Ein anderes Mal hinterlassen wir einen eklatanten Tippfehler in der Umfrage, wenn wir sie veröffentlichen, was die Befragten ablenkt. Es sind kleine Dinge wie diese, auf die wir uns konzentrieren werden.

Meine eigene ungeheuerliche Qualitätskontrolle besteht darin, dass ich häufig die Bearbeitung von Texten, Vortests und das Durchlaufen von Fragebögen, die ich gerade auf MTurk veröffentliche, überspringe (aus reiner Faulheit oder ungerechtfertigter Zuversicht, ich weiß nicht welche).

Von nun an mein Mantra: Copyedit und dann teste den Fragebogen über mich selbst (und Co-Autoren oder Minions) mindestens dreimal, bevor er überhaupt für MTurk-Arbeiter veröffentlicht wird. Wenn ich es nicht reibungslos durcharbeiten kann, sind die Chancen, dass die Befragten auch nicht.

Ich habe eine Checkliste erstellt , die all diese potenziellen Probleme durchschaut und für die Durchführung von Online-Umfragen hilfreich sein kann. Es kann hier heruntergeladen werden.

3. Nicht nur Einwilligung nach Aufklärung, sondern auch Gelegenheit für "informierte Rückmeldung"

Wie die meisten Forscher lege ich zu Beginn meines Fragebogens eine Einverständniserklärung ein, die das Vorgehen meiner Studie, ihre potenziellen Risiken, meine Kontaktinformationen usw. erläutert. Aber ich erkenne jetzt, dass dies aus mehreren Gründen nicht so hilfreich ist wie es sein könnte.

• Die Form ist ziemlich dicht. Es ist unvernünftig zu erwarten, dass MTurk-Mitarbeiter vor dem Beginn der Studie über 300 Wörter sorgfältig lesen. Selbst wenn ich die Arbeiter frage, sie für die Zukunft auszudrucken, ist es unwahrscheinlich, dass die meisten dies tun.
• Die Einverständniserklärung ist oft der einzige Ort, an dem der Name und die Kontaktinformationen des Forschers angegeben werden. Der Mitarbeiter benötigt diese Information jedoch wirklich am Ende, nachdem der letzte Knopf gedrückt und die Umfrage gesendet wurde.

Neben der Einwilligung nach Aufklärung erhalte ich am Ende der Umfrage, nachdem die Umfrage eingereicht und der Abschlusscode angegeben wurde, ein "informiertes Feedback". Hier erscheint es angebracht, meine Kontaktinformationen anzugeben und um Feedback zu bitten und eventuelle Beschwerden zu äußern.

Vermarkter fragen ihre Kunden routinemäßig nach einem Restaurantbesuch oder einer Flugreise nach ihren Erfahrungen. Warum sollten Forscher nicht nach einer MTURK-Umfrage das Gleiche tun?

4. Ergänzung MTurk Studien mit drastisch verschiedenen Proben und Methoden

Unabhängig von der statistischen Angemessenheit der MTurk-Daten gibt es etwas von Natur aus stinkendes über sozialwissenschaftliche Forschung, die ausschließlich mit einer Methode durchgeführt wird, bei der Umfrageteilnehmer Umfragen wie Fließbandarbeiter ausfüllen, die Apple-Uhren zusammenstellen.

Lass mich dir sagen warum. Bei der moralischen Entscheidungsfindung besteht eine wichtige (und entsetzliche) Klasse von Problemen darin, zwischen zwei WIRKLICH schlechten Situationen zu wählen (was ich aufrichtig hoffe, dass keiner von uns jemals in unserem wirklichen Leben vorkommt). Solche Dilemmata sind: "Würdest du ein Kind mit bloßen Händen ersticken, um ein Dutzend Fremder vor dem Tod zu retten?" Oder "Würdest du deinen Hund / deine Katze in einem Dorffest kochen und servieren, wenn das bedeutet, dass dein ganzes Dorf es sein würde ? geschont, sofort geschlachtet zu werden? " Huch!

Diese Art von Fragen sind grässlich. Für jeden normalen Menschen verursachen sie emotionale und moralische Turbulenzen, wenn Sie ihnen begegnen (zumindest taten sie das für mich!). Das ist es, was sie tun sollen. Aber nehmen wir an, Sie begegnen immer wieder den gleichen Fragen … und wieder; Nehmen wir einmal an, dass Sie in 20 Umfragen pro Woche ein Dutzend dieser Fragen begegnen (moralische Entscheidungen sind schließlich ein beliebtes Forschungsthema).

Wirst du das siebte Mal, wenn du solche Fragen beantwortest, das gleiche intensive moralische Dilemma empfinden? Auf keinen Fall! Du wirst gehen wie: "Gähn! Na ja, um die Marodeure zu beschwichtigen, werde ich Rover in Steaks für das Dorffest kochen! Als nächstes! " Mein Punkt ist, wenn du antwortest, könntest du die Fragen immer noch so beantworten, wie der Forscher will, erwartet oder vorhersagt, aber sicher ohne irgendwelche emotionaler Aufruhr, der solchen moralischen Entscheidungen zugrunde liegt!

Es gibt mindestens zwei weitere Gründe, warum ich mir vorbehalte, ausschließlich auf MTurk-Proben basierende Forschung durchzuführen. Zunächst einmal, aufgrund der Leichtigkeit, Kosten und Geschwindigkeit der laufenden MTurk-Studien, gibt es eine wachsende Tendenz, zahlreiche Studien für das gleiche Projekt mit der Idee der Replikation des Befunds und mit Hilfe von statistischen Methoden wie kleine Meta-Analyse zu figure die Größe des Effekts zuverlässiger aus .

Diese Flut von billig erworbenen Daten übersieht jedoch die Tatsache, dass alle Studien mit Umfrageteilnehmern durchgeführt wurden, die homogen abgestumpft sind; Daher können die Ergebnisse möglicherweise nicht über die Umfrageteilnehmer hinaus verbreitet werden. Und die Wahrheit ist, dass wir viel zu wenig über professionelle Umfrageteilnehmer wissen, abgesehen von der Tatsache, dass sie relativ wenige sind.

Zweitens verlagert sich die Selbstzufriedenheit, die sich aus der Durchführung zahlreicher Online-Studien ergibt, weg von der Anerkennung der schwerwiegenden Einschränkungen, die mit textbasierten Aufgaben einhergehen, die imaginäre Geschichten und Szenarien mit sich bringen, die sich Online-Befragungen leisten können. Solche Messungen können oder können nicht auf reale Entscheidungen oder Verhaltensweisen in der realen Welt übertragen werden, an denen wir wirklich interessiert sind.

Aus diesen Gründen plane ich zu verwenden MTurk-Proben dienen hauptsächlich zur Durchführung von Vorversuchen und zur explorativen Forschung, die einen kleinen Teil der Studien in einem bestimmten Forschungsprojekt ausmachen. So bevorzuge ich Feldstudien (zum Beispiel mit echten Kunden) und vermesse eher reale Verhaltensweisen als Meinungen darüber, wie sich die Umfrageteilnehmer verhalten würden.

Ich möchte noch eine abschließende Bemerkung machen (wenn Sie, der Leser, so weit gekommen sind, ohne mich davon zu vertreiben, mich zu verfluchen). Wäre es bei der Arbeit an MTurk nicht schön, wenn die Forscher ihren richtigen Namen verwenden und ihre Zugehörigkeit eindeutig angeben würden? Die Verwendung von Pseudonymen wie "SocPerfLab37" erweckt den Eindruck von Online-Spammern, die Viagra jeden Tag anpreisen!

Weitere Ressourcen

Ein Kollektiv von MTurker Arbeitern und Forschern namens Dynamo hat eine ausgezeichnete Reihe von Richtlinien für Forscher zusammengestellt, die viele der Dinge beschreiben, die ich hier in viel mehr Tiefe und noch viel mehr berührt habe. Die Gruppe hat auch einige interessante Untersuchungen zu kollektiven Maßnahmen unter MTurk-Arbeitern durchgeführt.

Mehr über mich

Ich lehre Kern-Marketing und Preise für MBA-Studenten an der Rice University und meine akademische Vita ist hier.

Sie können eine Menge meiner akademischen und einige meiner Praktiker-orientierten Schreiben an SSRN finden und herunterladen. Wenn du etwas Altes nicht finden kannst, schreibe mir eine Email und ich schicke es dir.

Einige meiner Texte für Manager und Geschäftsleute finden Sie auf HBR.org und ich schreibe auch einen relativ neuen Blog mit dem Titel "Die Wissenschaft hinter dem Verhalten" in Psychology Today.

Sie können sich mit mir auf LinkedIn oder Facebook verbinden , oder Sie können mir eine E-Mail senden. Alle Fragen, Kommentare, Gedanken und Ideen für zukünftige Blog-Stücke oder akademische Forschungsprojekte sind willkommen. Schick mir bitte keine Hass-Mail.

[Dieser Beitrag wurde von LinkedIn Pulse cross-gepostet]