Versucht, die Elemente für die Mittel zu sehen

Mein Kollege Kalif Vaughn und ich haben diesen Monat eine Forschungsidee entwickelt. Wir haben eine erste Studie durchgeführt und tolle Daten erhalten. Ich wette, wenn wir weitergemacht und ein Papier eingereicht hätten, wäre es ohne Probleme durchgesegelt. * Aber es gab ein Problem. Schau, ob du es sehen kannst.

Wir haben Teilnehmer mit Remote Associate Test (RAT) -Problemen konfrontiert. Beispielsweise,

• Sandwich Golf Fuß
• Endliniensperre
• Gegossener Seitensprung
• Gabel Dunkler Mann

Es gibt ein viertes Wort, das zu jedem dieser Trios passt (Antworten unten).

Wir haben unseren Teilnehmern 10 Sekunden Zeit gegeben, um an die Antwort zu denken. Dann sagten wir ihnen entweder die Antwort oder gaben ihnen weitere 30 Sekunden zum Nachdenken und erzählten ihnen dann die Antwort. Die Frage war, würde die 40-Sekunden-Gruppe die 10-Sekunden-Gruppe bei einem Test, der ein paar Minuten später stattfand, übertreffen? Wir freuen uns über dieses Ergebnis, denn die Antwort war nein.

• Die Psychologie der Dankbarkeit
• 13 Jahre
• Novelists behandeln große Themen (und greifen Leser) mit Finesse
• Schock und Ehrfurcht: Die erste psychologische Phase des Umgangs mit Krebs
• Psychologie, Geschichte und soziale Gerechtigkeit

Ich bin sehr daran interessiert, ob der Abruferfolg das Lernen beeinflusst. Ich habe dieses Jahr eine Studie veröffentlicht, die zeigt, dass es sehr wichtig ist, einen Retrieval-Versuch zu machen, aber ob es erfolgreich ist, scheint keine Rolle zu spielen (Kornell, Klein & Rawson, 2015). Also schauten wir uns unsere neuen Daten an, und siehe da: Die Teilnehmer bekamen mehr Antworten (in der ersten Phase) in der 40-Sekunden-Bedingung als in der 10-Sekunden-Bedingung. Aber (wie ich schon sagte) haben sie beim letzten Test nicht besser abgeschnitten. Wir zogen also die naheliegende Schlussfolgerung: Wieder einmal war der Versuch, an die Antwort zu denken, vorteilhaft – aber Erfolg war irrelevant.

Finde das Problem? Es ist in diesem letzten Absatz. Hier ist eine weitere Information. Während der Studienphase war die 40-Sekunden-Bedingung etwa 10 Prozentpunkte besser als die 10-Sekunden-Gruppe. Mit anderen Worten, nur 10% der Elemente wurden von Abruffehlern in Abruferfolge konvertiert.

Stellen wir uns nun vor, dass der Abruferfolg von Bedeutung ist, und dies bedeutet einen Unterschied von 15 Prozent beim Lernen. Ein 15% Vorteil für 10% der Artikel? Wenn der Abruferfolg von Bedeutung ist, würde dies im endgültigen Test einen satten 1,5-Prozent-Unterschied bedeuten. Zu klein zum Erkennen.

• Frühe mütterliche Liebe und Unterstützung fördert das Gehirnwachstum des Kindes
• Selfies, Facebook und Narzissmus: Was ist der Link?
• Unser innerer Donald Trumps
• Milgrams Themen hatten Recht
• Gibt es genug?

Wir haben also immer noch ein interessantes Ergebnis (wir arbeiten immer noch aktiv an diesem Projekt). Aber basierend auf den bisherigen Daten wäre es falsch, Rückschlüsse auf die Wirkung des Retrieval-Erfolgs zu ziehen. Durch einen glücklichen Zufall haben wir an dieses Problem gedacht. Aber es macht mir Sorgen, wie leicht es wäre, zu verpassen. Hier sind zwei Fallstricke:

• Übermäßige Abhängigkeit von Signifikanz. Nur weil ein Effekt signifikant ist (die 10% ige Steigerung der Leistung während der Studienphase) bedeutet das nicht, dass wir die Größe des Effekts vergessen und einfach annehmen können, dass er transzendent ist und große Auswirkungen auf der ganzen Linie haben sollte.
• Aggregieren statt individualisieren. Es ist verlockend, Effekte als Monolithen zu betrachten, die alle Gegenstände betreffen. Das ist im Grunde das, was wir tun, wenn wir Mittel einsetzen. Manchmal wirkt sich ein Effekt jedoch nur auf eine Teilmenge von Elementen aus. In diesem Fall galt der Abruferfolg nur für 10% der Artikel. (Wir zogen eine ähnliche Schlussfolgerung über die Bedeutung der Disaggregation von Gegenständen bei der Untersuchung der Langzeitwirkung von Tests in Kornell, Bjork & Garcia, 2011).

Es ist das genaue Gegenteil von "kann den Wald nicht für die Bäume sehen." Das Problem hier ist, die Individuen zu übersehen: "kann die Gegenstände für die Mittel nicht sehen."

Antworten: Club, tot, breit, Pech

Überprüfe mich auf Twitter.

* Ha ha, ja. Recht.

Verweise

Kornell, N., Björk, RA & Garcia, MA (2011). Warum Tests das Vergessen zu verhindern scheinen: Ein verteilungsbasiertes Bifurkationsmodell. Journal of Memory und Sprache, 65 (2) , 85-97. doi: 10.1016 / j.jml.2011.04.002

Kornell, N., Klein, PJ & Rawson, KA (2015). Retrieval-Versuche verbessern das Lernen, aber Retrieval-Erfolg (versus Fehler) spielt keine Rolle. Journal of Experimental Psychology: Lernen, Gedächtnis und Erkenntnis, 41 (1), 283-294. doi: 10.1037 / a0037850