Bewertung ist der Prozess der Bestimmung des Werts, Wertes oder der Bedeutung von etwas, und eine Bewertung ist ein konkretes Produkt dieses Prozesses. Laut Michael Scriven in The Logic of Evaluation : „Professionelle Evaluierung ist eine systematische und objektive Evaluierung , die ein gewisses Maß an Fachwissen erfordert, das umfangreiche spezifische Schulungen oder Lernprozesse erfordert.“ Die Logik der Evaluierung ist ein Beispiel für Schritt für Schritt Prozess, der angepasst werden kann, um Beurteilungen der Qualität von Produkten, Programmen, Richtlinien oder Personal zu treffen.
Prozess definieren
Die Bewertungslogik besteht aus vier Schritten: 1) Definition der Kriterien, nach denen etwas bewertet wird; 2) Festlegung von Leistungsstandards für diese Kriterien; 3) Messen der tatsächlichen Leistung; und 4) Synthetisieren der Ergebnisse, um eine bewertende Beurteilung zu erhalten. Besonders interessant an diesem Prozess ist, dass Menschen dies oft intuitiv tun, aber Schritte überspringen, die zu irreführenden Schlussfolgerungen führen könnten. Dieser Artikel möchte klarstellen, wie dieser Prozess aussieht und wie er auf eine reale Situation angewendet werden kann.
Im ersten Schritt der Definition der Kriterien wird eine Liste von Dimensionen oder Elementen erstellt, mit deren Hilfe die Leistung eines Produkts / Programms / einer Richtlinie erfasst werden kann. Wenn wir beispielsweise ein Auto bewerten möchten, könnten einige der Kriterien, die wir erstellen würden, die Anzahl der Sitzenden, die Anzahl der Meilen pro Gallone (MPG), die Crash-Sicherheitsbewertung, das Aussehen des Fahrzeugs (seine Ästhetik) und seine Anzahl sein Preis. Dies ist keine umfassende Liste von Kriterien, aber es bietet einen Ausgangspunkt, um über die Dimensionen nachzudenken, die bei der Bewertung eines Autos berücksichtigt werden. Es ist auch wichtig anzumerken, dass nicht alle Kriterien gleich wichtig sind. Daher sollten wir bei der Fahrzeugbewertung die Sicherheitskriterien sehr wichtig einschätzen. Selbst wenn ein Auto preisgünstig ist, sieht es gut aus, es wird großartig für MPG und bietet Platz für sechs Personen, versagt jedoch bei den einfachsten Sicherheits-Crashtests, dann versagt es automatisch als Auto, da Sicherheit wahrscheinlich eine der wichtigsten Eigenschaften ist.
Sobald wir die Kriterien herausgefunden haben, müssen wir feststellen, wie gut etwas bei diesen Kriterien (dh Standards) ausgeführt werden muss. Wenn wir beispielsweise MPG als Kriterien verwenden, müssten wir auch einen Leistungsstandard für diese Kriterien festlegen. Das bedeutet, dass wir bei diesen Kriterien ein akzeptables Leistungsniveau ermitteln müssen, wären also 10 MPG akzeptabel? 35 MPG? 50 MPG oder sogar 100 MPG? Es gibt verschiedene Wege, sich diesem Prozess zu nähern. Die einfachste Methode besteht darin, eine Leistungsgrenze festzulegen, bei der Sie aufgrund des Gaspreises entscheiden, dass ein Auto mindestens 35 MPG benötigt, um als “gutes” Niveau zu gelten der Leistung auf MPG. Eine andere Möglichkeit besteht darin, ein Punktesystem zu entwickeln, bei dem je mehr Punkte ein Fahrzeug erhält (z. B. 10 MPG 10 Punkte, 100 MPG 100 Punkte). Sie können diesen Prozess mit den anderen Kriterien durchgehen, so dass Sie einen Preispunkt für die Höhe Ihres Fahrzeuges festlegen, die Anzahl der Passagiere bestimmen können, die Sie in der Lage sein möchten, und vielleicht sogar ein Bewertungssystem entwickeln für wie gut das Auto aussieht.
Wenn Sie die Kriterienidentifikation und Standardeinstellung abgeschlossen haben, beginnt der unterhaltsame Teil des Erfassens und Sammelns von Informationen. Im Auto-Beispiel würde dies bedeuten, dass wir anfangen würden, Kriterien für die verschiedenen Autos zu erfassen, die wir in Betracht ziehen. Sie können die Daten direkt sammeln, sodass Sie eine Gallone Benzin in ein Auto geben und um eine Spur herumfahren können, um zu sehen, wie weit es geht (dies kann Ihnen helfen, die MPG zu bestimmen) oder vorhandene Datenquellen über die Leistung des Autos zu finden. Einige der Leistungsdaten sind leicht zu finden, zum Beispiel kann die Anzahl der Personen, die in ein Auto passen, durch Blick auf das Innere des Autos bestimmt werden. Andere Informationen sind möglicherweise schwer direkt zu erfassen und Sie müssen sich auf andere externe Quellen verlassen. Zum Beispiel müssten Crash-Sicherheitsdaten vom Insurance Institute for Highway Safety (IIHS) abgerufen werden. Sobald alle Messungen abgeschlossen sind und die Daten gesammelt wurden, beginnt der interessanteste Schritt im Auswertungsprozess.
Im Syntheseprozess werden die ermittelten Kriterien, die ermittelten Leistungsstandards und die erfassten Messwerte verwendet, um eine abschließende bewertende Schlussfolgerung oder Beurteilung zu erhalten. Im Auto-Beispiel würde dies bedeuten, dass Sie die Daten, die Sie über jedes Auto gesammelt haben, mit den von Ihnen ermittelten Leistungsstandards vergleichen und Punkte zuordnen, wie gut sie diese Kriterien erfüllen. Zum Beispiel können Sie ein Auto haben, das 40 MPG (40 Punkte von 100 Punkten) erhält, das akzeptabel aussieht (z. B. 50 Punkte von 100 Punkten ergibt), bei den Sicherheits-Crashtests (80 Punkten von 100 Punkten) eine hervorragende Leistung erbracht hat. ist aber sehr teuer (10 von 100 Punkten). Die Gesamtpunktzahl für dieses Auto wäre 180 von 400 möglichen Punkten. Ein anderes Auto könnte 300 von 400 Punkten oder 50 von 400 Punkten erhalten, je nachdem, wie gut es während des Messvorgangs funktioniert. Wenn Sie sich die Punktzuordnung einmal angesehen haben, ist es leicht herauszufinden, welches als das “beste” Auto gilt.
Es ist auch wichtig zu wissen, dass Sie als Teil dieses Prozesses feststellen müssen, ob diese Autos die wichtigsten oder kritischsten Kriterien erfüllen (z. B. Crashtest-Sicherheit). Selbst wenn ein Auto bei allen anderen Kriterien wirklich gut abschneidet (100 Punkte beim Preis, 100 Punkte bei der Ästhetik, 100 Punkte beim MPG), die Sicherheitstests jedoch nicht bestehen, muss das Auto aus dem Blickfeld genommen und als „nicht bestanden“ beurteilt werden. Auto.
Ich hoffe, dass diese Illustration einige Einblicke bietet, wie die Logik des Evaluierungsansatzes abstrakte Konzepte expliziter und systematischer machen kann. Die Logik des Evaluierungsansatzes kann in vielen verschiedenen Situationen verwendet werden, z. B. bei der Evaluierung von Programmen, wie z. B. bei der Schülerbindung, bei Schwangerschaftspräventionsinitiativen und bei Drogenrehabilitationsmaßnahmen. Es kann auch zur Bewertung verschiedener Richtlinien verwendet werden, die unser Leben beeinflussen, und, wie das Beispiel Auto zeigt, in unserem regulären Entscheidungsprozess zum Einsatz kommen. Dieser Prozess wird jedoch in späteren Artikeln noch komplizierter. Dies wird in zukünftigen Artikeln angesprochen. Zum Beispiel bei der Bewertung eines Schulprogramms können die Leistungskriterien des Auftraggebers sehr unterschiedlich sein, was die Eltern denken, und der Verhandlungsprozess zwischen diesen Unterschieden kann die Glaubwürdigkeit beeinträchtigen und Nützlichkeit des abschließenden Bewertungsurteils. Wir werden diese Komplexität und die Rolle der Bewertung bei der Entscheidungsfindung im nächsten Teil untersuchen.
Verweise
Scriven, Michael, “Die Logik der Bewertung” (2007). OSSA-Konferenzarchiv . 138. https://scholar.uwindsor.ca/ossaarchive/OSSA7/papersandcommentaries/138
