Was funktioniert?

Von Robert E. Slavin, Johns Hopkins Universität

Wenn Sie krank sind, suchen Sie Medikamente und Behandlungen, die streng bewertet wurden?

Erwarten Sie beim Kauf eines Autos, dass es strengstens auf Sicherheit getestet wurde?

Unterstützen Sie die Forschung in der Landwirtschaft, um die Versorgung und Qualität gesunder Nahrungsmittel für die Welt zu erhöhen?

Fast jeder würde sagen, dass sie lieber bewährte medizinische Dienstleistungen erhalten, sichere und wirksame Produkte kaufen, in sicheren Zügen und Flugzeugen reisen und so weiter. Beweise spielen eine zentrale Rolle in der Landwirtschaft, wo bewährte Praktiken, Saatgut, Viehbestand und Tierarztpraxen die Produktivität enorm gesteigert, die Kosten gesenkt und den Zugang und die Qualität von Nahrungsmitteln in der ganzen Welt verbessert haben.

Doch in der Ausbildung spielen Beweise in der Praxis seit langem eine untergeordnete Rolle. Ein Teenager Akne-Creme musste seine Sicherheit und Wirksamkeit beweisen. Warum also wird sein Algebra-Lehrplan nicht genau untersucht? Man könnte argumentieren, dass das schnelle Tempo der Fortschritte in Bereichen wie Medizin, Landwirtschaft und Technologie viel mit der Achtung der Beweise in diesen Bereichen zu tun hat, während das langsame Tempo des Fortschritts in der Bildung das Gegenteil widerspiegelt.

Natürlich gibt es viel Forschung in der Pädagogik und Pädagogik, und die daraus abgeleiteten Prinzipien beeinflussen die Praxis. Dennoch unterstützt die Forschung zur Unterstützung (oder Widerlegung) allgemeiner Prinzipien der Praxis die Lehrkräfte bei der Auswahl bestimmter Texte, Programme, Software oder Methodologien. Bis die Forschung bestimmte Ansätze direkt unterstützt, werden die Pädagogen wahrscheinlich die Teile des gesammelten Wissens, die sie mögen, herausgreifen und den Rest ignorieren. Das ist besser, als die Forschung gänzlich zu ignorieren, aber es führt nicht zu einer progressiven Übernahme immer effektiverer Strategien, wie es in der Medizin, der Landwirtschaft, der Technologie und anderen beweisorientierten Bereichen üblich ist.

In den letzten Jahren hat der Bereich der Bildung begonnen, eine zentralere Rolle für die Evidenz in der Bildungspraxis und -entscheidung einzunehmen. Diese Bewegung wird Evidence-Based Practice oder EBP genannt. Brian Cook hat dieses Thema kürzlich vorgestellt und einige der Schlüsselbegriffe definiert. Meine Absicht ist, noch einen Schritt weiter zu gehen, um zu diskutieren, wie evidenzbasierte Praxis die Bildungspraxis und Bildungspsychologie zu verändern beginnt und wie, wie Präsidentin Karen Harris es ausdrückt, wir wirklich "Bildung vor K bis zum Grau" beeinflussen können.

Was gilt als "rigorose Forschung"?

Eine der wichtigsten Anforderungen der evidenzbasierten Praxis ist eine große und robuste Reihe von Programmen und Praktiken mit "rigorosen Wirksamkeitsnachweisen". Was damit gemeint ist, variiert unter verschiedenen Umständen, aber der "Goldstandard" der Beweise für evidenzbasierte Praxis ist die randomisierte klinische Studie oder RCT (Shadish, Cook & Campbell, 2002). In einer RCT werden Schüler, Lehrer oder Schulen, die einer Teilnahme an einem Experiment zustimmen, nach dem Zufallsprinzip zugewiesen, um eine bestimmte Behandlung zu erleben, oder um als Kontrollgruppe zu dienen (oft erhalten die Kontrollgruppe die Behandlung nach Beendigung der Studie) ). In der Regel werden die Schüler in der Experimental- und der Kontrollgruppe vor Beginn des Programms getestet und anschließend ein- oder mehrmals nachgetesten. Die Nachuntersuchungen werden dann statistisch verglichen, wobei Vortests und möglicherweise andere Faktoren kontrolliert werden.

Das Schöne an der RCT ist, dass experimentelle Gruppen und Kontrollgruppen bei der Voruntersuchung nicht nur bei beobachtbaren Faktoren wie Vortests, sondern auch bei nicht beobachtbaren Faktoren wie Motivationen oder Orientierungen als zufällig angesehen werden können. Wenn sich die Ergebnisse am Ende des Experiments signifikant unterscheiden, muss der Unterschied daher auf die Behandlung zurückzuführen sein.

Pragmatisch können RCTs schwierig zu implementieren sein. Es ist oft schwierig, Schüler, Lehrer und Schulleiter dazu zu bringen, einer zufälligen Zuweisung zuzustimmen. Da Schüler in Schulen und Klassen unterrichtet werden, ist es schwierig, Schüler innerhalb von Schulen und Klassen nach dem Zufallsprinzip zu bestimmen, außer für individuelle Behandlungen wie Nachhilfeunterricht. Daher werden Klassen oder Schulen oft nach dem Zufallsprinzip in so genannten cluster-randomisierten Studien (CRTs) zugewiesen. Diese bewahren die Gruppenbasis des Unterrichts, aber solche Experimente erfordern typischerweise viele Schulen – normalerweise etwa 25 pro Behandlung – für Methoden, die das Clustering berücksichtigen.

Less-than-Gold-Standard-Forschungsdesigns, die in der evidenzbasierten Praxis ebenfalls akzeptiert werden, sind Quasi-Experimente (QEDs), bei denen experimentelle und Kontrollgruppen im Voraus auf Faktoren wie Vortests und Demografien abgestimmt und nicht zufällig zugewiesen werden. Eine Variante davon nenne ich ein randomisiertes Quasi-Experiment (RQE), bei dem Gruppen randomisiert Behandlungen zugeordnet werden, aber es gibt zu wenige Gruppen, um Statistiken zu verwenden, die das Clustering berücksichtigen.

Was ist mit Forschung anders als RCTs?

Die evidenzbasierte Praxisbewegung schätzt alle Arten von Forschung: korrelativ, ethnographisch und beschreibend sowie experimentell. Ihr Beharren auf RCTs bezieht sich nur auf Fragen, "was funktioniert". Wenn Sie beispielsweise wissen möchten, ob ein bestimmtes wissenschaftliches Programm die wissenschaftliche Leistung mehr steigert als die übliche Praxis, ist ein Experiment unerlässlich. Für andere Fragen können jedoch andere Methoden vorzuziehen sein. Viele RCTs verwenden auch qualitative Methoden, um zu charakterisieren, was die Experimental- und Kontrollklassen machen und wie Schüler und Lehrer die Behandlungen wahrnehmen.

Hinzufügen von bewährten Programmen

Der schnellste Fortschritt bei der evidenzbasierten Reform war die Entwicklung und Evaluierung von Programmen auf allen Bildungsebenen, insbesondere von vor der K bis zur 12. Bildungsstufe. Gefördert vom Institut für Bildungswissenschaften (IES), der National Science Foundation (NSF) und andere Agenturen, zahlreiche Programme wurden unterstützt. In den letzten Jahren hat das "Investing in Innovation" (i3) -Programm der Obama-Regierung mehr als 1,5 Milliarden US-Dollar in die Entwicklung, Validierung und Erweiterung bewährter Programme investiert. Insgesamt wurden 143 Programme finanziert. In Großbritannien tätigt der Education Endowment Fund (EEF) ähnliche Investitionen.

Was IES, NSF, i3 und EEF herausfinden, ist, dass es nicht so einfach ist, die Leistungen der Schüler zu verbessern, aber es kann getan werden. Die Mehrzahl der finanzierten Programme bringt keine signifikanten Unterschiede, aber die Minderheit, die ein enormes Potenzial zur Veränderung von Bildungspraxis und -politik hat, weil ihre Ergebnisse in der Regel in realistischen Schuleinstellungen erhalten werden und (im Prinzip) breit repliziert werden können.

Ergebnisse zusammenfassen

Um die Ergebnisse rigoroser Forschung leicht verfügbar und leicht zu interpretieren, ist es wichtig, Übersichten zu haben, die konsistente und faire Standards verwenden, um die Beweise zusammenzufassen. Im Bildungsbereich unterhält das US-Bildungsministerium das What Works Clearinghouse (http://ies.ed.gov/NCEE/wwc). Unsere Gruppe an der Johns Hopkins University produziert die Best Evidence Encyclopedia oder BEE (www.bestevidence.org). Kürzlich hat das Allgemeine Verwaltungsreglement der Bildungsabteilung (EDGAR) Definitionen von moderaten und starken Beweisen für die Wirksamkeit von Bildungsprogrammen erstellt.

Beeinflusst evidenzbasierte Praxis die Bildungspolitik und -praxis?

Die evidenzbasierte Praxisbewegung beginnt gerade erst, die Bildungspraxis jenseits der an der Forschung selbst beteiligten Schulen zu beeinflussen. Dies kann sich jedoch ändern.

Ein Bereich des Einflusses ist i3. Damit die Programme größere Validierungs- und Scale-up-Zuschüsse erhalten, müssen sie einen Nachweis der Wirksamkeit erbringen. Insgesamt haben diese Programme Tausenden von Schulen geholfen.

Ein weiteres sich entwickelndes Wirkungsfeld sind die "Federal School Improvement Grants" (SIG), die die Transformation der leistungsschwächsten Schulen in jedem Staat unterstützen. Jüngste Rechtsvorschriften definierten eine neue Kategorie, die Schulen wählen könnten: nachweisbewertete Ganzschulprogramme. Es wird interessant sein zu sehen, wie viele Schulen diese Wahl treffen.

In vielen Teilen der Bundesgesetzgebung zeigen sich Ermutigungen, bewährte Programme zu nutzen. Zum Beispiel müssen Antragsteller in den SEED-Vorschlägen von Titel II Beweise für ihre Programme vorlegen.

Die Politik mag eingreifen, aber im Laufe der Zeit scheint es wahrscheinlich, dass die Anforderungen an den Nachweis in Bundes-, Staats- und lokalen Politiken immer häufiger vorkommen werden.

Wie wirkt sich evidenzbasierte Praxis auf die Pädagogische Psychologie aus?

Ich glaube, dass evidenzbasierte Praxis für die gesamte Bildungsforschung und Bildungspsychologie sehr gut sein wird. Wenn es in Politik und Praxis Fuß fasst, wird dies das Interesse von Pädagogen, politischen Entscheidungsträgern und Geldgebern auf allen Ebenen an der Forschung erheblich steigern. Die Stärke der evidenzbasierten Praxis in der Medizin erhöht nicht nur das Interesse und die Finanzierung für RCTs, sondern unterstützt auch eine breite Palette von Forschung mit allen Arten von Methoden. Das könnte auch in der Bildung passieren.

Bildung ist ein angewandtes Feld. Regierung, Pädagogen und die Öffentlichkeit kümmern sich um die Ergebnisse von Bildung, und sie kümmern sich viel eher um Forschung und Entwicklung in der Bildungspsychologie, wenn sie die Auswirkungen auf Kinder sehen können.

In der Pädagogischen Psychologie gibt es viele legitime Kontroversen über Forschungsmethoden, -maßnahmen und -zwecke. Diese Debatte ist gesund und notwendig. Wenn Sie jedoch der Meinung sind, dass das Ziel der Bildungspsychologie als Disziplin die Verbesserung der Bildung – insbesondere für gefährdete Kinder – ist, dann bietet die evidenzbasierte Praxisbewegung echte Hoffnung, dass unser Bereich für Kinder noch wirkungsvoller wird. Ist das nicht wichtig?

Dieser Beitrag ist das Finale einer Sonderserie, die als Reaktion auf Karen R. Harris 'Presentationsthema 15, "Impacting Education Pre-K to Gray", eingereicht wurde. Präsident Harris hat betont, wie wichtig es ist, die Bildung zu beeinflussen, indem die Art und Weise beibehalten und bereichert wird Pädagogische Psychologie Forschung verbessert und wirkt sich auf Bildung in allen Altersstufen. Ein solcher Einfluss hängt davon ab, konkurrierende Standpunkte mit Nachdenklichkeit und Respekt zu behandeln und so kollaboratives, interdisziplinäres Arbeiten zu ermöglichen, das das nutzt, was wir aus verschiedenen Blickwinkeln kennen. Sie hat auch argumentiert, dass wir Paradigmenverzerrungen beiseite legen und falsche Dichotomien ablehnen müssen, wenn wir Forschung für Veröffentlichung oder Finanzierung überprüfen, die nächste Generation von Forschern entwickeln, Nachwuchsforscher unterstützen und mit anderen und dem größeren Feld zusammenarbeiten.

Verweise

Shadish, WR, Cook, TD, und Campbell, DT (2002). Experimentelle und quasi-experimentelle Designs für verallgemeinerte kausale Inferenz. Boston: Houghton-Mifflin.