In einer der Top-Zeitschriften in der Psychologie wurde heute ein Artikel veröffentlicht, den ich für irreführend hielt.
Schaeffer, MW, Rozek, CS, Berkowitz, T., Levine, SC, & Beilock, SL (2018). Trennung der Beziehung zwischen den mathematischen Ängsten der Eltern und den mathematischen Leistungen von Kindern: Langzeiteffekte einer mathematischen App-Intervention. Journal of Experimental Psychology: General, 1 (999 ), 1–9. http://doi.org/10.1037/xge0000490
Die Studie untersuchte eine vielfältige Auswahl von Kindern aus der Umgebung von Chicago. In der ersten Klasse erhielten diese Kinder eine App, bei der die Schularbeit mit einem Elternteil durchgeführt wurde. Es gab zwei Versionen der App. In einem ging es nur um Mathe. Bei dem anderen (der als Kontrollbedingung diente) ging es ums Lesen. Die Frage war, ob die App die mathematische Leistung verbessern würde. Die Forscher folgten den Kindern und überprüften ihre mathematischen Fähigkeiten in der dritten Klasse. Nun sind die Ergebnisse aus.
Hat die App Kinder in Mathe besser gemacht? Nein.
Die mathematische Gesamtleistung unterschied sich nicht signifikant zwischen Kindern, die die Mathematik-App hatten, und Kindern, die die Lese-App hatten. Da die Autoren schreiben, “… ist zu beachten, dass wir keine Hauptwirkung der Intervention sehen.”
Um es klar zu sagen, die App war hilfreich: Schüler unter den Kontrollbedingungen haben sich in Mathe verschlechtert, wenn ihre Eltern starke Matheangst hatten (was scheinbar schlimm ist). In der mathematischen Bedingung war diese Beziehung nicht signifikant (was gut scheint). Die Autoren fassen ihre Ergebnisse wie folgt zusammen:
“Wir zeigen, dass eine bestimmte Mathe-App zu dauerhaften Veränderungen in der Verbindung zwischen Mathe-Angst der Eltern und Mathe-Leistung von Kindern führen kann. In zukünftigen Untersuchungen hoffen wir, die spezifischen Faktoren zu identifizieren, die diese App zum Erfolg führen.”
Das ist wahr. Und es scheint potentiell wichtig zu sein. Aber ich denke auch, dass der Artikel irreführend ist. In diesem Beispiel müssen Sie nicht davon ausgehen, dass “erfolgreich” bedeutet, “dass Kinder mehr Mathematik lernen”. Schlimmer noch, die Zusammenfassung bezieht sich auf “den nachhaltigen Nutzen der Mathematik-App”. Sie besagt auch, dass Interventionen wie die Mathematik-App “…” kann sich nachhaltig auf die akademische Leistung von Kindern auswirken… “
Artikel sollten so offen und offen wie möglich über ihre Erkenntnisse sein. Dieser verbirgt etwas Wichtiges. Es ist eine Flut von Positivität. In einem zweiseitigen Ergebnisabschnitt weist ein einziger Satz darauf hin, dass die Intervention keinen signifikanten Gesamteffekt hatte. Es befindet sich in einer unauffälligen Position, mitten in einem Absatz in der Mitte des Ergebnisbereichs. Der Rest des Ergebnisbereichs ist genauso wie der Rest des Artikels.
Was mich wirklich reizt, ist, wie die Autoren meinen, dass diese App ein großes Geschenk für die Gesellschaft ist. Zum Beispiel schreiben die Autoren:
„Obwohl viele Apps dafür bekannt gemacht werden, dass sie die akademischen Fähigkeiten und Fähigkeiten von Kindern entwickeln können, gibt es unzureichende Beweise hinsichtlich der Wirksamkeit dieser Apps und ihrer Auswirkungen auf das Lernen von Kindern und noch weniger Studien, in denen die dauerhaften Auswirkungen auf das Lernen untersucht werden. Darüber hinaus sind nicht alle Apps gleich (Hirsh-Pasek et al., 2015), und die in dieser Studie untersuchten mathematischen App-Eingriffe unterscheiden sich in vielerlei Hinsicht von vielen traditionellen Apps. “
Ironischerweise kritisieren die Autoren die Praxis, irreführende Behauptungen über “dauerhafte Auswirkungen auf das Lernen” zu machen, aber genau das tun sie. Leider ist es nichts Neues. Wie ich bereits geschrieben habe, versprechen Bildungspsychologen häufig mehr, als ihre Ergebnisse liefern.
Hier ist der Wortlaut, den ich gerne gesehen hätte: „Insgesamt hat die mathematische App die mathematischen Ergebnisse nicht wesentlich mehr verbessert als die Kontrollbedingung.“ Das ist die Wahrheit. Wenn in der Zusammenfassung und im Schlussfolgerungsteil, würde es mit diesem Artikel kein Problem geben.
Aus Sicht der Autoren könnte jedoch ein Problem aufgetreten sein. Es hätte möglicherweise die Chance verringert, dass dieses Papier in einer solch renommierten Zeitschrift veröffentlicht worden wäre. Es könnte auch die App weniger ansprechend wirken.
Wenn jemand versuchte, mir diese App zu verkaufen, würde ich sie nicht kaufen. Meine erste Frage wäre: „Welche Beweise gibt es, dass diese App die mathematischen Fähigkeiten insgesamt verbessert?“ Basierend auf den Daten der dritten Klasse in diesem Dokument gibt es keine.
Kurz gesagt, dieser Artikel verspricht mehr, als er liefern kann. Ich sage nicht, dass die Autoren dies absichtlich getan haben. Sie haben wahrscheinlich gute Absichten. Ich bin mir sicher, dass sie gerne Kindern helfen, und ich würde ihnen nicht die Schuld geben, dass sie zu eifrig sind. Aber ihre Absichten sind nicht für mich zu richten.
Was ich sagen kann, erinnert mich das Schreiben an die sorgfältige Formulierung eines Politikers. Es scheint etwas Wichtiges zu sagen, aber wenn Sie die Sprache sorgfältig analysieren, stellen Sie fest, dass im Kern etwas fehlt.
Besuche mich auf Twitter.
Verweise
Schaeffer, MW, Rozek, CS, Berkowitz, T., Levine, SC, & Beilock, SL (2018). Trennung der Beziehung zwischen den mathematischen Ängsten der Eltern und den mathematischen Leistungen von Kindern: Langzeiteffekte einer mathematischen App-Intervention. Journal of Experimental Psychology: General, 1 (999), 1–9. http://doi.org/10.1037/xge0000490
