Kriegsgeschichten aus dem Accountability Battlefield: Teil 2 von 2

Nachdem Steve Rees eng mit 240 Kunden zusammengearbeitet hatte, wog er die Daten der CA-Schule.

Steve Rees

Quelle: Steve Rees, mit Genehmigung verwendet

In Teil 1 dieses Interviews hat Steve Rees falsche Schlussfolgerungen gezogen, die einige Pädagogen aus den Daten des California School Dashboard gezogen haben. Als Präsident und Gründer von School Wise Press ist Rees ein Experte für Bildungsdaten mit langjähriger Erfahrung, der Lehrern aller Rollen dabei hilft, Daten besser zu nutzen. Nachdem Rees im Laufe von 14 Jahren eng mit 240 Kunden aus dem Schulbezirk zusammengearbeitet hatte, um die Vitalfunktionen der Schulen zu verstehen, entwickelte Rees Workshops und Kurse sowie Messinstrumente, mit denen Schulleiter und Distriktleiter wertvolle und verlässliche Erkenntnisse aus den Daten gewinnen konnten. Tatsächlich hat sein Unternehmen einen neuen Partner – Teachers College an der Columbia University -, um die Sache voranzubringen.

• Kann eine Zahnarztpraxis zur Drogenabhängigkeit von Jugendlichen führen?
• Bessere Behandlungen für BFRBs finden
• Warum die besten Führungskräfte andere nicht ignorieren
• Unsere erwachsenen Kinder leben wieder zu Hause, hilf mir!
• Ein psychologischer Zustand unserer Union: Wir sind alle Migranten

Die Komponenten der schulischen Rechenschaftspflicht unterscheiden sich von Bundesstaat zu Bundesstaat (die Bewertungen der Schüler unterscheiden sich auch in Staaten, die Teil desselben Konsortiums sind, Ergebnisse werden auf unterschiedliche Art und Weise gemeldet usw.). Hier gibt Rees weiterhin einen Einblick in einige Kriegsgeschichten aus Kalifornien, die ihn dazu bewegen, die Datennutzung in diesem Bereich zu verbessern.

Jenny Rankin (JR): Sind einige dieser Probleme auf die Datenmesswerkzeuge selbst zurückzuführen?

Steve Rees (SR): Diese Tests – in Kalifornien machen Studenten einen Test, der den Tests in einem Dutzend anderer Staaten, die sich alle im Smarter Balanced Consortium befinden, sehr ähnlich sind – selbst haben Grenzen. Ich teile die Behauptung von Jim Popham, dass nicht die Tests selbst Probleme verursachen . Das, was Popham als „abgründige Einschätzungskompetenz“ der Pädagogen bezeichnet, führt zu Missbrauch, Missverständnissen und Fehlurteilen beim Menschen. Es ist ein Missverständnis, was die Testergebnisse bedeuten, das ist das Kernproblem .

• Männlichkeit ist nicht unser Feind
• ERP für OCD: Eine kurze Einführung
• Poker und die Kunst des Alterns
• Widerstandsfähigkeit und Tragödie
• Millennials ‘Pet Dogs: ein Anker für eine erwachsene Welt

Nehmen Sie eine Dimension der Bewertungsergebnisse: die Fehlerspanne . In Kalifornien wird die Fehlerspanne in den Berichten nicht erwähnt, die an die Eltern verschickt oder an die Klassenlehrer übermittelt werden. Nur die Distrikte, die das Glück haben, Beurteilungsdirektoren (etwa 1 von 8 Distrikten) zu beschäftigen, sehen sogar die Fehlerquote der Schüler, Klassenzimmer, Schulen und des Distrikts. Das ist eine große Sache. Hier ist der Grund. Jeder dieser Tests hat zwischen 35 und 45 Fragen. Die Antworten eines Schülers liefern eine vernünftige Einschätzung seiner Beherrschung der Standards, die im Test aufgetaucht sind. Mit der Schätzung können Sie jedoch nur so viel über die Punktzahl eines Studenten sagen: „Gabrielas Punktzahl bei ihren Mathematikprüfungen in der 6. Klasse war 2490. Wir sind uns ziemlich sicher, dass sie, wenn sie den Test am Dienstag und nicht am Montag absolviert hat, einen Punktestand erzielt Innerhalb von 27 Punkten dieser Punktzahl von 2490. “Wenn man diese Unsicherheit und Ungenauigkeit verdeckt, investieren die Menschen zu viel Bedeutung in diese Wertungen.

Aber es wird schlimmer. Die Ergebnisse dieser Tests werden verwendet, um die Größe der Leistungsdefizite zwischen Jungen und Mädchen, Studenten, die Mittagessen erhalten und nicht erhalten, und Studenten verschiedener ethnischer Gruppen zu ermitteln. Drei Probleme verdecken ein klareres Verständnis der Größe und Bedeutung dieser Lücken. Erstens macht es die Maskierung von Ungenauigkeit und Ungewissheit unmöglich, die geschätzte Größe der Lücke für jeden außer einem Statistiker zu verstehen. Zweitens war der Test nicht darauf ausgelegt, alle Informationen über die Schüler mit der höchsten und niedrigsten Punktzahl zu erfassen. Das, was Psychometriker als “Verbreitung” bezeichnen, ist notwendigerweise begrenzt. Dies bedeutet, dass die Größe der Lücken unterschätzt wird. Drittens hat das kalifornische Bildungsministerium einen logischen Fehler in sein Rechenschaftssystem aufgenommen. Ihr offizielles Dashboard vergleicht jede ethnische Gruppe mit dem Status aller Schüler in jeder Schule oder in jedem Distrikt, und in der Tat enthält sie eine Einheit in der Benchmark, an der sie gemessen wird. Sie sollten zu Vergleichszwecken natürlich Entitäten gepaart haben: Jungen und Mädchen, Kinder mit gratis Mittagessen und Kinder, die kein kostenloses Mittagessen erhalten.

JR: Wie können fehlerhafte Beweise schaden, wenn Distriktleiter wichtige Entscheidungen treffen?

SR: Wenn Distriktsleiter sich zusammensetzen, um ihre Pläne für das nächste Schuljahr zu erstellen, nehmen sie die Beweise, die ihnen vom kalifornischen Bildungsministerium übergeben werden, und entscheiden, wo sie Probleme der Praxis sehen, Bereiche, in denen ihre Vitalfunktionen hinterherhinken. Dann beschließen sie, Geld auszugeben und die wertvolle Zeit der Lehrer für Verbesserungen zu verwenden. Wenn sie diese Ressourcen auf „Probleme“ ausrichten, die eigentlich keine Probleme sind, und aufgrund fehlerhafter Beweise keine zwingenden Herausforderungen auslassen, dann werden Geld und Zeit vergeudet, und den Schülern, die sie brauchen, wird Gelegenheit zum Lernen gegeben.

Ich würde gerne sehen , wie Distrikte ihre eigenen Beweise aufbauen, anhand derer sie beurteilen können, wo sie stehen, im Vergleich zu anderen, deren Kinder und Gemeinschaften ihre eigenen am meisten mögen. Wenn sie sich die Beweise ansehen, die sie mit einer gewissen Skepsis vom Staat erhalten haben, wäre dies ein guter Anfang. In der Tat hat das Gesetz und die Politik des Staates in Kalifornien die Distrikte ausdrücklich dazu ermutigt, die lokale Kontrolle zu übernehmen. Wenn sie diese lokale Kontrolle beim Messen der Vitalparameter ihrer Schulen und ihres Distrikts ausübten, würden sie viel eher kluge Entscheidungen treffen.

JR: Vielen Dank für Ihre Zeit und für alles, was Sie für Pädagogen und Studenten tun.