Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
A1: «Erfahrungen aus und Lehren für Meta-Evaluationen und Evaluationssynthesen»
Zeit:
Donnerstag, 15.09.2022:
14:30 - 16:00

Leitung der Sitzung: Prof. Dr. Thomas Widmer, Universität Zürich

Zusammenfassung der Sitzung

Analytische Instrumente dritter Ordnung, also Instrumente, die sich mit Gegenständen befassen, die ihrerseits Gegenstände analysieren, erhielten in den letzten Dekaden in der Evaluation zunehmend Beachtung. Neben der Forschung über Evaluation (vgl. Hense et al. 2013) sind dies Meta-Analysen und Evaluationssynthesen, welche materielle Evaluationserkenntnisse aus verschiedenen Evaluationen zu gleichen oder verwandten Gegenständen zusammenführen und in letzter Zeit namentlich im Kontext einer evidenzbasierten Politikgestaltung (auch unter der Bezeichnung «systematic review») viel Aufmerksamkeit erhalten haben (Davies et al. 2000; kritisch Pawson 2006). Davon zu unterscheiden sind Meta-Evaluationen (oder Metaevaluierungen), die sich mit der Evaluation einer oder mehrerer Evaluationen befassen (Scriven 1969; Stufflebeam 1978; Widmer 1996; Wingate 2010; Caspari 2015). Hier steht mit formativer und/oder summativer Absicht die Frage nach der Bewertung der Evaluationsqualität im Zentrum.

Diese Session befasst sich mit den beim Einsatz dieser Instrumente dritter Ordnung gemachten Erfahrungen. Die Beiträge aus verschiedenen Politikfeldern stellen sich die Frage, welche Lehren aus diesen Erfahrungen für zukünftige Meta-Evaluationen und Evaluationssynthesen gezogen werden können. Worauf ist bei der Konzeption und Realisierung von Meta-Evaluationen und Evaluationssynthesen besonders zu achten?

«Evaluations-Instrumente dritter Ordnung: Eine Auslegeordnung»
Prof. Dr. Thomas Widmer, Institut für Politikwissenschaft, Universität Zürich
Eine kurze Einführung in die Thematik.

«Erfahrungen und Lehren des DEval aus Meta-Evaluierungen»
Dr. Kerstin Guffler, Laura Kunert und Marian Wittenberg, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), Bonn
Der Beitrag stellt Erfahrungen aus einer organisationsübergreifenden Meta-Evaluierung von (Projekt-)Evaluierungen von elf staatlichen und nichtstaatlichen deutschen EZ-Organisationen vor. Ein Fokus liegt dabei auf Erfahrungen bei der Identifikation und Messung der Qualitätsstandards.

«Meta im Quadrat – Meta-Evaluationen in der Entwicklungszusammenarbeit»
Dr. Stefan Silvestrini, CEval GmbH, Saarbrücken
Der Beitrag fasst Erkenntnisse aus 13 Meta-Evaluationen des CEval der letzten Jahre zusammen und thematisiert u.a. folgende Fragen: Wie und anhand welcher Kriterien können Evaluationen evaluiert werden? Welche Methoden eignen sich für Meta-Evaluationen? Welche Herausforderungen stellen sich im Besonderen im Hinblick auf Vergleichbarkeit und Objektivität?

«Erfahrungen und Lehren aus der Meta-Evaluation zu MINT-Projekten für Schülerinnen an Hochschulen.»
Prof. Dr. Elke Wolf, Fakultät Wirtschaftsingenieurwesen, Hochschule München
An deutschen Hochschulen für angewandte Wissenschaften existieren zahlreiche Angebote, um Schülerinnen für Studiengänge und Berufe im MINT-Bereich zu begeistern. Ziel der Meta-Evaluation ist es, die Qualität der uns zu diesen Angeboten vorliegenden Evaluationen anhand verschiedener Indikatoren zu bewerten. Die Befunde zeigen, dass die Evaluationen von MINT-Projekten kaum der Erfolgsmessung dienen.

«Glaskugeln, heiße Luft und Nebelkerzen: Erfolgsmessung im Klimaschutz»
Dr. Christine Wörlen, Arepo GmbH, Berlin
Erfolge im Bereich der Energie- und Klimapolitik werden fast immer mit Indikatoren gemessen, die klar und technisch einfach messbar erscheinen, wie Energie- und Treibhausgaseinsparungen oder Arbeitsplätze. Zwischen Evaluationen vergleichbar oder aggregierbar sind diese nicht, was nicht nur an der Qualität der Evaluationen selbst liegt. Lösungsansätze finden sich auf mehreren Ebenen.

Literatur

Caspari, Alexandra (2015): Well done? Who knows … Ein Plädoyer für Meta-Evaluationen. In: Hennefeld, Vera/Meyer, Wolfgang/Silvestrini, Stefan (Hrsg.): Nachhaltige Evaluation. Münster: Waxmann, S. 141-163.

Davies, Huw T.O./Nutley, Sandra M./Smith, Peter C. (2000): What Works? Evidence-based Policy and Practice in Public Services. Bristol: Policy Press.

Hense, Jan/Rädiker, Stefan/Böttcher, Wolfgang/Widmer, Thomas (2013): Forschung über Evaluation. Münster: Waxmann.

Nutley, Sandra/Moron, Sarah/Jung, Tobias/Boaz, Annette (2010): Evidence and Policy in Six European Countries. Evidence & Policy 6(2): 131-144.

Pawson, Ray (2006) Evidence-based Policy: A Realist Perspective, London: Sage.

Scriven, Michael (1969): An introduction to meta-evaluation. Educational Product Report 2(5): 36-38.

Stufflebeam, Daniel L. (1978): Meta evaluation: An overview. Evaluation and the Health Professions 1(1): 17-43.

Widmer, Thomas (1996): Meta-Evaluation. Bern: Haupt.

Wingate, Lori A. (2010): Meta-evaluation: Purpose, Prescription, and Practice. In: Peterson, Penelope/Baker, Eva/McGaw, Barry (eds): International Encyclopedia of Education, 3rd ed. Elsevier, pp. 765-774.


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

«Erfahrungen aus und Lehren für Meta-Evaluationen und Evaluationssynthesen»

Thomas Widmer

Universität Zürich, Schweiz



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany