In einem Blogeintrag von 2013, Do the Best Professors Get the Worst Ratings ?, beschrieb ich eine Studie, in der SchülerInnen mehr "fließende" (dh klare, engagierte) Dozenten als effektiver bewerteten, obwohl dies nicht der Fall war. Ein neues Papier konnte einen unserer Ergebnisse nicht in einem realistischeren Paradigma reproduzieren.
In der ursprünglichen Studie, von den Autoren Shana Carpenter, Miko Wilford, mir und Kellie M. Mullaney, sahen die Teilnehmer eines von zwei Videos. Beide zeigten einen Lehrer, der einen kurzen Vortrag hielt. Die Worte, die sie sagte, waren in beiden Videos identisch. Der Unterschied war fließend: In einem sprach sie deutlich ohne Notizen und machte Blickkontakt. In der anderen stolperte sie durch und las inkompetent ihre Notizen.
Wir stellten fest, dass die Sprachbeherrschung einen großen Einfluss auf die Bewertungen hatte: Die Schüler gaben dem Lehrer höhere Punktzahlen für Maßnahmen, die traditionell in Form von Schülerbeurteilungen verwendet werden. Sie sagten auch voraus, dass sie den Test nach dem fließenden Vortrag besser machen würden. Aber sie haben nicht alles beeinflusst, was wir gemessen haben, außer zu lernen.
Das größte Problem unserer Studie ist, dass die Videos nicht nur kurz, sondern mikroskopisch klein waren und nur eine Minute dauerten. Offensichtlich musste eine weitere Studie mit einem längeren Video durchgeführt werden.
Eine solche Studie wurde gerade veröffentlicht, mit Shana Carpenter als Hauptautor noch einmal. In diesem war der Vortrag 22 Minuten. Immer noch nicht lange, aber viel länger als eine Minute, und genug Zeit, damit die Schüler sich langweilen, Spaß haben, sich ausgrenzen und das typische Zeug machen, das man in einem Vortrag macht.
Die Ergebnisse waren in drei Experimenten konsistent. Geläufigkeit hat das Lernen nicht beeinflusst. Es hat sich auf die Bewertung von traditionellen Schülerbewertungen ausgewirkt (wie gut informiert, organisiert, vorbereitet und effektiv ist der Lehrer). Diese Verbesserungen haben unsere vorherigen Ergebnisse wiederholt. Der eine Hauptunterschied besteht darin, dass die Teilnehmer an dem fließenden Zustand nicht glaubten, dass sie mehr gelernt hatten als diejenigen, die sich im Zustand der Störung befanden.
Auf die Gefahr hin, mich zu wiederholen, werde ich die drei wichtigsten Ergebnisse zusammenfassen:
Für die Lehrkräfte ist das Ergebnis im Wesentlichen dasselbe: Fliessfähigkeit hat das Lernen nicht verbessert, und die Schülerbewertungen wurden nicht auf Grundlage des Lernens gemacht.
Für Metakognitionsforscher ist das Ergebnis jedoch anders: Durch Vorlesung fließend wurden JOLs nicht erhöht. Die Daten legen einen Grund dafür nahe: Die Schüler basieren ihre Beurteilung des Lernens nicht auf dem Dozenten allein und, wie eine separate Analyse zeigte, gaben Schüler, die sagten, dass der Lehrer einen großen Einfluss auf sie hatte, höhere JOLs nach dem fließenden Vorlesung.
Endeffekt
Worüber ich mir in meinem ursprünglichen Beitrag Gedanken gemacht habe, scheint immer noch wahr zu sein: Einen Vortrag flüssiger zu gestalten, hat die Bewertungen der Schüler erhöht, aber das Lernen hat nicht zugenommen. Eine der Wirkungen replizierte jedoch nicht: Dieses Mal verbesserten fließende Vorlesungen nicht die Beurteilung des Lernens.
Überprüfe mich, Nate Kornell auf Twitter.
