Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
D4: Machtverhältnisse innerhalb von Evaluationen
Zeit:
Freitag, 16.09.2022:
10:45 - 12:15

Leitung der Sitzung: Dr. Susanne Giel, Evaluation - Training - Beratung

Zusammenfassung der Sitzung

Ziele als Verhandlungssache? – Reflexion und Bearbeitung von Machtverhältnissen in Zielexplikationsprozessen (Franziska Heinze, Frank König, Stefanie Reiter)

Evaluationen bewegen sich im Spannungsverhältnis der damit verbundenen Interessen und Anliegen von Auftraggebenden, Evaluierten, Evaluierenden sowie weiteren Stakeholdern (vgl. Heinze u.a. 2019; Widmer 2000). Diese Interessen müssen im Prozess der Evaluation ermittelt und berücksichtigt werden. Die Verteilung der Fähigkeiten und Ressourcen der beteiligten Akteure:innen, ihre Interessen durchzusetzen, lassen sich als Machtverhältnis im Sinne Max Webers beschreiben. Hierbei sind Evaluierende durch ihren Evaluationsauftrag spezifisch positioniert. Die von ihnen angewendeten Methoden, Gütekriterien und das damit erzeugte Wissen über die Evaluationsgegenstände stellen selbst wertvolle Machtressourcen dar. Inwieweit deren Einsatz gezielt oder eher unintendiert (mit entsprechenden Folgen für die Beteiligten) geschieht, hängt nicht zuletzt davon ab, inwieweit sich Evaluierende ihrer machtvollen Position bewusst sind und für ihr Handeln reflektieren sowie berücksichtigen.

Der Beitrag stellt anhand von Beispielen aus Zielexplikationsprozessen mit Auftraggebenden sowie evaluationsunerfahrenen und evaluationserfahrenen Praktiker:innen dar, worauf Machtverhältnisse in diesen Kontexten gründen können und wie sie sich in einer den DeGEval-Standards verpflichteten Evaluation gestalten lassen. Reflektiert wird, wie unterschiedliche mehr oder weniger partizipativ angelegte Vorgehensweisen zur Zielexplikation (z.B. Fill-Out-Approach, methodenkombinierende Verfahren) durch Machtverhältnisse beeinflusst werden sowie diese selbst hervorbringen. Thematisiert wird, welche Machtressourcen in den jeweiligen Settings durch die verschiedenen Akteur:innen mobilisiert werden können und wie sich dies auf die konkrete methodische Umsetzung der Evaluation und ihre Erkenntnisse auswirkt.

Der Beitrag diskutiert Implikationen für die Beziehungen der involvierten Akteure:innen in Evaluationen sowie deren Erkenntnisse und die Gestaltung von partizipationsorientierten Evaluationssettings.

Literatur

Heinze, F.; Reiter, S.; Berg-Lupper, U.; Wach, K. & Riedle, S. (2019): Multiple Handlungsanforderungen an Evaluierende. Ein theoretisches und praktisches Problem in der Evaluation komplexer (sozial)politischer Programme. In: Zeitschrift für Evaluation, 18 (2019) 2, S. 261-283.

Widmer, T. (2000): Qualität der Evaluation. Wenn Wissenschaft zur praktischen Kunst wird. In: Stockmann, R. (Hrsg.): Evaluationsforschung. Wiesbaden: VS Verlag für Sozialwissenschaften, S. 77-102.

Evaluationsverbünde als Herausforderung: Die Bewältigung von Mehrperspektivität in der Evaluation von Mehrebenenprogrammen (Frank König, Diana Zierold)

Programme, die sich aus mehreren Programmbereichen und Einzelmaßnahmen zusammensetzen, werden mitunter durch mehrere Evaluationsteams im Verbund untersucht, ohne dass ex ante eine Abstimmung der Evaluationskonzepte erfolgt ist. Die Teams befassen sich dann auf der Basis eigener Evaluationsverständnisse und -ansätze mit ihren Gegenständen. Das können Einzelmaßnahmen, Programmbereiche oder die Gesamtarchitektur eines Programms sein.

Daraus können Erkenntnisse resultieren, die eine kohärenten Bewertung von Evaluationsgegenständen erschweren. So ist möglich, dass eine Evaluation für ein Projekt Wirksamkeit bei Zielgruppen ermittelt, zugleich feststellt, dass es das Hauptförderziel (z. B. Innovation) verfehlt. Das Projekt kann dann im Einzelnen wertvolle Arbeit leisten, aus einer übergreifenden Perspektive jedoch als unfruchtbar bewertet werden. Auch die Interpretation von empirischen Daten kann sich bei mehreren Teams unterscheiden.

Das ist aus wissenschaftlicher Sicht eher unproblematisch. Diffizil wird es, wenn Evaluationsbefunde verschränkt und in ihrer Verschränkung bewertet werden sollen und/oder es darum geht, die Anforderung von Auftraggebenden einer Evaluation nach Widerspruchsfreiheit der Ergebnisse zu bewältigen. Bewertungskohärenz kann auch für die Akzeptanz von Evaluationsergebnissen bei Evaluierten bedeutsam sein.

Diese Herausforderungen lassen sich auf verschiedene Art und Weise bewältigen. So kann es bspw. hilfreich sein, Evaluationskonzepte der beteiligten Teams so anzulegen, dass sie im Evaluationsprozess ggf. punktuell miteinander verzahnt werden können und für Letzteres Verfahren und Ressourcen vorzusehen. Zudem können Mixed-methods- und auf Daten- und Perspektiventriangulation angelegte Untersuchungskonzepte, ggf. gestützt durch eine im Verbund geteilte Programmtheorie, dazu dienen, die intersubjektive Nachvollziehbarkeit und Anerkennung von Evaluationserkenntnissen zu verbessern.

In der Evaluation u. a. des Bundesprogramms „Demokratie leben!“ (2015-2019) haben die Vortragenden praktische Erfahrung bei der Bewältigung der geschilderten Herausforderungen gesammelt. Im Vortrag werden die Ergebnisse damit verbundener Reflexionsprozesse vorgestellt und Lösungsansätze diskutiert.

Literatur

Bischoff, U./König, F./Reiter, S. (2021): Die Programmevaluation – Annäherung an eine Unbekannte. In: Milbradt, B. u.a. (Hrsg.): Evaluation von Programmen und Projekten der Demokratieförderung, Vielfaltgestaltung und Extremismusprävention. Weinheim Basel, S. 38-58

Bewertungshandeln als Machthandeln. Wie Bewertungen Evaluationen herausfordern. (Frank Greuel, Katja Schau)

Gegenstand des Beitrags soll eine erfahrungsbasierte Auseinandersetzung mit Fragen von (machtvollen) Bewertungen in Evaluationen sein. Zur Frage, wer bewertet und wie Bewertungen hergestellt werden, lassen sich im Fachdiskurs höchst unterschiedliche Positionen identifizieren. In der evidenzbasierten Politikgestaltung werden z.B. häufig die fachlichen Bewertungen und abgeleiteten Empfehlungen unmittelbar aus der Empirie abgeleitet. In dieser Perspektive spricht die Evidenz der empirischen Ergebnisse für sich selbst und ergeben sich Einordnung und Bewertung objektiv und selbstläufig aus den Daten. In der Evaluationsforschung wird der Aspekt des Bewertens hingegen häufig als Akt hervorgehoben, der mindestens teilweise konstruktivistischen Charakter hat. Entsprechend wird z.B. diskutiert, wer den Akt der Bewertung vor welchem Hintergrund realisiert. Dabei werden entweder die Evaluierenden selbst zu den Urteilenden und bewerten zusammenfassend auf der Basis von Kriterien die beobachteten Prozesse und Ergebnisse (Scriven 2007). Oder die Bewertungsverantwortung wird wesentlich den Beteiligten und Betroffenen übertragen und die Evaluation bildet lediglich deren Bewertungen ab (Balzer/Beywl 2018; Stake 2003).

Diese theoretischen Auseinandersetzungen bilden die Basis vor deren Hintergrund wir unsere eigene langjährige Evaluationspraxis im Bereich der Demokratieförderung und Radikalisierungsprävention reflektieren. In der Evaluationsrolle waren wir dabei herausgefordert, neben dem Wissen zum Gegenstand auch Bewertungen zur Verfügung zu stellen, die Erkenntnisse für die Politik einzuordnen und in ihrer Passung zu den Programm- und Politikzielen zu bewerten. Unsere Erfahrungen zeigen, dass sich hier auch die Evaluierenden als Subjekte mit eigenen Wertvorstellungen einbringen. Insofern stellen selbstreflexive Aushandlungen über Bewertungen in machtvollen Konstellationen eine kontinuierliche Herausforderung von Evaluation dar. So stellen sich z.B. Fragen nach der nötigen Distanz zu den beforschten Umsetzenden und den steuerungsorientierten Auftraggebenden.

Balzer, Lars/Beywl, Wolfgang (2018): evaluiert. Erweitertes Planungsbuch für Evaluationen im Bildungsbereich. 2. Aufl. Bern

Scriven, Michael (2007): Die Key Evaluation Checklist. Von Daniela Schröter und Wolfgang Beywl 2006 übersetzt und kommentiert. https://www.univation.org/download/Key_Evaluation_Checklist_ger.pdf (03.09.2020)

Stake, Robert E. (2003): Standards-based und responsive evaluation. Thousand Oaks [u.a.]


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

Ziele als Verhandlungssache? – Reflexion und Bearbeitung von Machtverhältnissen in Zielexplikationsprozessen

Franziska Heinze, Frank König, Stefanie Reiter

Deutsches Jugendinstitut e.V., Außenstelle Halle (Saale), Deutschland



Evaluationsverbünde als Herausforderung: Die Bewältigung von Mehrperspektivität in der Evaluation von Mehrebenenprogrammen

Frank König, Diana Zierold

DJI e.V. - Außenstelle Halle (Saale), Deutschland



Bewertungshandeln als Machthandeln. Wie Bewertungen Evaluationen herausfordern.

Frank Greuel, Katja Schau

Deutsches Jugendinstitut, Deutschland



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany