Ziele des Seminars

Die Teilnehmenden…

• schärfen ihr Bewusstsein für die Wertungsproblematik in Evaluationen und verstehen, warum viele Evaluationen nicht explizit oder auf unklarer Grundlage bewerten;
• wissen, was es für ein begründbares Werturteil braucht, und kennen die „Logik der Evaluation“ mit ihren vier elementaren Bestandteilen;
• kennen Methoden und Verfahren, um je nach Kontext angemessene Kriterien und Vergleichsstandards zu bestimmen und mehrere Kriterien in einem Werturteil zu kombinieren;
• verstehen die Rolle verschiedener Beteiligtengruppen und den Zusammenhang mit Werkzeugen wie Wirkungsmodellen oder LogFrame
• erkennen die Probleme einer unreflektierten Übernahme von Erfolgskriterien z.B. aus den Programmzielen oder generischen Kriteriensystemen wie z.B. OECD-DAC
• können in spezifischen Fällen und eigenen Evaluationskontexten bewusster mit der Wertungsfrage umgehen;
• wissen, inwiefern Anwendungen Künstlicher Intelligenz in diesem Zusammenhang eine Unterstützung darstellen können.

Zielgruppe des Seminars:

Evaluationsinteressierte aller Erfahrungsstufen, die ihren Umgang mit der Wertungsfrage in Evaluationen schärfen wollen. Keine speziellen Vorerfahrungen erforderlich.

Inhalt, Ablauf und Form sowie Dokumentation des Workshops

Inhalte

Evaluation bedeutet systematisches Bewerten. Trotzdem fällen viele Evaluationen kein explizites Werturteil wie „gut“, „nicht erfolgreich“ oder „verbesserungswürdig“, oder lassen unklar, wie genau sie zu solchen Wertaussagen kommen. Beispiele finden sich in den unterschiedlichsten Evaluationskontexten.

So lassen etwa viele Lehrevaluationen die Lehrenden mit der Frage, ob z.B. ein rückgemeldeter Mittelwert nun „gut“ oder „ausreichend“ ist, allein. In anderen Fällen werden zwar wertende Urteile in der Berichterstattung ausgesprochen, es bleibt aber unklar, wie es von den qualitativen oder quantitativen Ergebnissen zur Bewertung im Rahmen von Interpretation (z.B. „besonders erfolgreich war…“) und Empfehlungen (z.B. „verbesserungswürdig ist …“) kam. Ein weiterer Fall sind Vergleichsgruppendesigns, in denen die Bewertung an statistische Auswertungsverfahren wie Signifikanztest oder Effektstärkemaße delegiert werden, ohne zu hinterfragen, ob die entsprechenden Kennwerte eine Bewertung z.B. als „erfolgreich“ überhaupt begründen können. Zuletzt sind Fälle zu nennen, in denen generische Kriteriensysteme wie etwa die des OECD-DAC mechanisch zur Anwendung gebracht werden, ohne eine bewusste und kontextangemessene Auswahl oder Anpassung zu treffen.

Der Workshop rückt daher das Bewerten als Wesenskern des Evaluierens in den Vordergrund und will zu einem bewussteren und begründeteren Umgang mit der Wertungsfrage beitragen. Unter Bezug auf das allgemeine Spannungsfeld zwischen empirischer Erkenntnis und normativer Setzung (vgl. Werturteilsstreit) behandeln wir als theoretischen Bezugspunkt die Logik der Evaluation (Scriven/Fournier) mit ihren vier Kernelementen Kriterien, Vergleichsstandards, Messung und Synthese. Wir wenden diese zur Analyse unterschiedlicher Fallbeispiele an und lernen Methoden zur begründeten Bestimmung von Kriterien und Vergleichsstandards sowie zur Synthese in einem Gesamturteil kennen. Dabei stellen wir den Zusammenhang zu wichtigen Werkzeugen wie Wirkungsmodellen oder Logical Frameworks, generischen Kriteriensystemen wie z. B. OECD-DAC sowie mit unterschiedlichen Evaluationsdesigns (z.B. qualitativ oder experimentell) her.

Aufgezeigt wird insgesamt, wie Bewertungen transparent und begründbar werden obwohl sie letztlich immer von normativen Setzungen abhängen. Wichtig ist aber auch die Erkenntnis, dass nicht jede Evaluation zwingend explizite Bewertungen aussprechen muss, um ihre Zwecke zu erfüllen, und dass es durchaus legitim sein kann, Vergleichsstandards erst nachträglich festzulegen. Auch hier braucht es aber einen bewussten Umgang und eine begründbare Entscheidungsheuristik. Sie wird ebenso Thema sein, wie die Frage, an welchen Stellen uns KI-Chatbots beim Umgang mit der Bewertung unterstützen können und dürfen.

Ablauf

1. Problemaufriss: Evaluationen, die nicht explizit oder auf unklarer Grundlage bewerten (Fallbeispiele und -analyse)
2. Logik der Evaluation nach Scriven/Fournier (Input und Übung)
3. Kriterien, Vergleichsstandards und Synthese in konkreten Evaluationsszenarien (Fallarbeit in Kleingruppen)
4. Arten von Kriterien und Arten von Vergleichsstandards (Input)
5. Methoden zur Bestimmung und Begründung von Kriterien, Vergleichsstandards und zur Synthese in einem Gesamturteil wie z.B. grading/ranking rubrics oder generische Kriteriensysteme (Demonstration und Übung)
6. Muss jede Evaluation ein Werturteil aussprechen und wann darf man Vergleichsstandards nachträglich festlegen? (strukturierte Diskussion)
7. KI-Chatbots als Unterstützungsinstrument bei verschiedenen Teilaufgaben (Demonstration)
8. Anwendung auf den eigenen Anwendungskontext (Transferübung und Abschlussdiskussion)

Dokumentation

Präsentationsfolien, Handouts, Fotodokumentation