Veranstaltungsprogramm

Evaluationen können verschiedenen Zwecken dienen, etwa dem Lernen und Nachsteuern während der Programmlaufzeit oder der Rechenschaftslegung gegenüber Geldgebern. Mitunter soll ein Evaluationsprojekt mehrere solcher Anforderungen gleichzeitig erfüllen. Dies stellt Evaluator:innen vor die Frage, welchem Zweck welche Aufmerksamkeit und welche Ressourcen zu widmen sind, um einerseits Evaluationsstandards einhalten und andererseits die Erwartungen verschiedener Seiten erfüllen zu können.

Wie lässt sich vor diesem Hintergrund eine Evaluation gestalten, wenn das zu untersuchende (Forschungs-)Projekt iterativ angelegt ist und dessen Ziele erst weit nach Ende der Laufzeit erreicht werden können? Der Vortrag schildert die Herausforderungen am Beispiel der internen Evaluation eines Verbundforschungsprojekts, an dem neun außeruniversitäre Forschungseinrichtungen sowie drei Hochschulen in Deutschland beteiligt sind (https://www.nachhaltig-forschen.de/lena-shape-2021-2023/projektbeschreibung/). Die Aufgaben der Evaluation, insbesondere in methodischer Hinsicht, sind im vorgestellten Beispiel nicht klar definiert. Der Evaluationszeitraum entspricht der Projektlaufzeit. Da das Forschungsprojekt selbst iterativ angelegt ist und einen Beitrag zu einer nachhaltigen Entwicklung anstrebt, wurde der Evaluationsansatz der Developmental bzw. Blue Marble Evaluation von Michael Quinn Patton gewählt. Der Vortrag skizziert die Rahmenbedingungen der Evaluation und diskutiert die Frage, wie in einem dynamischen Umfeld valide Daten erhoben und eine akzeptierte Steuerung erreicht werden können.

Die Förderung von emergenten Programmen und Maßnahmen in den Bereichen Demokratieförderung, Extremismusprävention und Vielfaltgestaltung erfolgt oftmals in Erprobungssettings, in denen Evaluierenden die Aufgabe zukommt, Prozesse der Umsetzung kritisch zu begleiten und handlungsrelevantes Steuerungswissen für die Projektumsetzenden sowie für Politik und Verwaltung zu erzeugen. Zur Absicherung und Legitimierung von (politischen) Entscheidungen sollen Evaluationen durch Evidenz abgesichertes Wissen über Wirkungen und Wirkmechanismen liefern. Komplexe Prozesse sollen dabei klar, verständlich und transparent erfasst, in ihrer Komplexität reduziert und bewertet werden. Zugleich divergieren bisweilen Vorstellungen über die Kriterien von Evidenz und angemessenen Vorgehensweisen zur Erzeugung von schlüssigen Erkenntnissen. Für Evaluierende stellen sich Fragen danach, wie die prozesshafte Entstehung von Wirkungen gegenstandsangemessen empirisch erfasst, analysiert sowie bewertet und kommuniziert werden kann.

Der Vortrag stellt das Konzept der Resonanz zur Untersuchung von Wirkungen anhand der Evaluation des komplexen und dynamischen Bundesprogramms „Demokratie leben!“ vor. Aufgrund seines emergenten Charakters können in diesem Programm Wirkungspfade über mehrere Ebenen nur umsetzungsbegleitend und in ihrem koproduktiven Entstehungsprozess untersucht werden. In Resonanzuntersuchungen zu geförderten Maßnahmen stehen dabei die Beziehungen zwischen Akteuren (Individuen/Organisationen) sowie Artefakten und die in bzw. aus diesen resonanten Beziehungen entstehenden wechselseitigen Einwirkungen und Veränderungen im Zentrum des Interesses. Der Mehrwert eines solchen Zugangs besteht u. E. darin, dass wechselseitige „Rückwirkungsprozesse“ in der Interaktion der Akteurinnen/Akteure und die Frage der Kontingenz von Ursache-Wirkungs-Beziehungen systematisch und in ihrer Prozesshaftigkeit in den Blick kommen, was vereinfachte Kausalitätsmodellierungen gegenwärtig kaum leisten können (vgl. Heinze/König/Reiter/Schroeter 2021). Anhand konkreter empirischer Untersuchungen zeigt der Vortrag, dass die empirische Rekonstruktion von Resonanzen zu einem vertieften Verständnis von Wirkmechanismen führt. Zugleich gibt er Einblicke in methodische Umsetzungen von Resonanzerhebungen sowie das Spektrum von möglichen Befunden und verweist auf Potenziale und Spannungsfelder in Anforderungen und Verwertungskontexten von Wissenschaft, Evaluationspraxis und Politik.

Wie lassen sich komplexe Interventionsrealitäten in einer Evaluierung methodisch erfassen? In der Realität ist es meist unwahrscheinlich, dass eine Intervention alleine die Ursache für eine beobachtete Wirkung ist. Vielmehr gibt es oft mehrere Faktoren, die potenziell in Frage kommen. Die Kontributionsanalyse als theoriebasierte Evaluierungsmethode eignet sich in solchen Fällen besonders gut, um den Beitrag einer Intervention zu einem (übergeordneten) Ziel ex-post zu identifizieren und zu evaluieren und dabei verschiedene andere Faktoren zu berücksichtigen.

Bisher wird die Kontributionsanalyse wenig in Evaluierungen eingesetzt, dabei hat die Methode insbesondere für Fragen zu Effektivität und Impact in komplexen Evaluierungen großes Potenzial. Als kontextsensible Methode kann sie dazu beitragen die Frage zu beantworten, wie und unter welchen Umständen bestimmte Wirkungen eingetreten beziehungsweise ausgeblieben sind. Mittels übergeordneter contribution stories und darin enthaltenen contribution claims können Interventionen holistisch gedacht und systematisch bearbeitet werden.

Vor diesem Hintergrund hat der Einzelvortrag zwei Ziele: Erstens, den methodischen Mehrwert und die Herausforderungen der Kontributionsanalyse anhand eines Anwendungsbeispiels zu reflektieren und zu diskutieren. Zweitens, Erfahrungen bei der Anwendung der Methode und in der Kommunikation mit Stakeholdern aus Politik und Praxis zu teilen. Während eine Beteiligung der Stakeholder im Evaluierungsprozess und bei der Anwendung der Kontributionsanalyse eine Grundlage für eine erhöhte Akzeptanz für Evaluierungsergebnisse schaffen kann, zeigten sich in der Praxis gleichzeitig Herausforderungen bei der Vermittlung der Methode wie der Ergebnisse. Dies betraf unter anderem Einschätzungen zur Validität von Daten.

Als Anwendungsbeispiel des Vortrages dient dabei die Evaluierung „Die Förderung nachhaltiger Lieferketten durch die deutsche Entwicklungszusammenarbeit am Beispiel des Textilsektors“ des Deutschen Evaluierungsinstitutes der Entwicklungszusammenarbeit (DEval). Das Evaluierungsteam hat die Methodik der Kontributionsanalyse im Rahmen von Fallstudien genutzt, um den Beitrag der deutschen Entwicklungszusammenarbeit zur Reduzierung von Menschenrechtsverletzungen und Umweltschäden in Bangladesch sowie zu einer verbesserten Wahrnehmung unternehmerischer Sorgfaltspflichten in Deutschland zu untersuchen.