Die Nutzung von Evaluierungen und ihren Ergebnissen beginnt häufig mit einer „management response“, in der die adressierte Steuerungsebene angibt, ob sie die Empfehlungen der Evaluierung teilt und welche Schritte unternommen werden sollen, um die Empfehlung umzusetzen. Inwiefern diese Schritte bzw. die Empfehlung umgesetzt werden, kann dann in Follow-Up-Mechanismen überprüft werden. Laut der OECD sind formalisierte Systeme von „management response“ und Follow-Up-Mechanismen in Evaluierungssystemen allerdings relativ selten (siehe „Improving Governance with Policy Evaluation: Lessons From Country Experiences“, OECD, 2020).

In der deutschen Entwicklungszusammenarbeit ist die Nachverfolgung von Evaluierungen und ihren Empfehlungen eingebettet in die Evaluierungsleitlinien des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) und damit ein Baustein des Evaluierungssytems der deutschen EZ. Sie besteht aus: a) einer öffentlichen Stellungnahme des BMZ, b) einer formalisierten, internen Umsetzungsplanung mit konkreten, termingebundenen und überprüfbaren Teilschritten sowie c) einem späteren Umsetzungsmonitoring (siehe „Evaluierung der Entwicklungszusammenarbeit“, BMZ, 2021).

Es ist aber wenig darüber bekannt, wovon es abhängt, ob Empfehlungen geteilt und schließlich umgesetzt werden. Im Rahmen einer Synthese der Pilotphase des Umsetzungsmonitorings der Empfehlungen von DEval-Evaluierungen wurde analysiert, inwieweit die Empfehlungen von den adressierten Organisationen geteilt und umgesetzt wurden. Zudem wurden Faktoren ermittelt, die die Umsetzung beeinflussen. Diese Faktoren bieten Ansatzpunkte, Evaluierungen, Empfehlungen und deren Umsetzung zu verbessern und damit die Nützlichkeit von Evaluierungen zu steigern.

Der Vortrag stellt die gewonnen Erkenntnisse der Synthese von Umsetzungsmonitorings vor, zum einen aus Sicht der Evaluierenden und zum anderen aus Sicht des BMZ als primärem Adressaten von DEval-Evaluierungen, der die Erkenntnisse und Empfehlungen für die Steuerung, aber auch zum Lernen und für die Rechenschaftslegung nutzt. Dabei wird auch auf Chancen und Herausforderungen des Monitorings der Umsetzung von Evaluierungsempfehlungen eingegangen. Anschließend werden die Zuhörenden zur Diskussion darüber eingeladen, welche Erfahrungen sie mit Follow-Up-Prozessen zu Evaluierungen haben und wie aus ihrer Sicht die Umsetzung von Evaluierungsempfehlungen und damit auch ihr Einfluss auf Steuerung nachgehalten werden sollte.

Empfehlungen sind eines der wichtigsten Instrumente von Evaluator*innen, um die Nutzung von Evaluationsergebnissen zu gewährleisten. Sie sind ein kommunikatives Vehikel, um empirische Kernaussagen von Evaluationen in eine praxistaugliche Sprache zu übersetzen. Ihnen kommt folglich eine Schlüsselrolle bei der Überwindung von Zielkonflikten zwischen empiriebasierten Befunden und politischen Handlungszwängen zu, denn sie konspektieren zentrale Erkenntnisse und zeigen konkrete Handlungsoptionen auf.

Damit Evaluationsempfehlungen zu einer effektiven Verbesserung der evaluierten Maßnahmen beitragen (und die Evaluation somit genutzt wird), müssen sie für Entscheidungstragende verständliche und nachvollziehbare Veränderungsimpulse formulieren. Dies bildet die Voraussetzung dafür, dass Empfehlungen im Handeln ihrer Adressat*innen übernommen und in der strategischen Planung und Steuerung als Informationsgrundlage berücksichtigt werden. Die ‘Chain of Utilization’ einer Evaluation – der Weg von der Rezeption von Empfehlungen hin zu erhöhter maßnahmeninduzierter Wirksamkeit (Nutley, S. M. et al., 2008; Knott & Wildavsky, 1980) – ist jedoch sehr kontextspezifisch und in Evaluationen selten expliziert.

Die Autoren des Vortrags stellen einen Ansatz vor, um die Wirkungsorientierung von Empfehlungen durch eine theoretische und empirische Fundierung zu stärken:

(1) Der erste Kernbestandteil des Ansatzes besteht in einer theoretischen Fundierung der Wirkungsannahmen von Empfehlungen und impliziert eine integrierte Betrachtung der durch Empfehlungen angestoßenen Veränderungsprozesse (a) auf der Ebene des Evaluationsprozesses und (b) auf der Ebene des Evaluationsgegenstands. Die folgenden, damit verbundenen Fragestellungen sollten in diesem Zusammenhang beantwortet werden: Wer sind die Nutzenden der Evaluation und welche Erkenntnisinteressen haben Sie? Wie wirken sich die Empfehlungen auf den Evaluierungsgegenstand aus?

(2) Der zweite Kernbestandteil des Ansatzes besteht darin, durch die Nutzung prospektiver Methoden die erwartete Veränderung durch Empfehlungen empirisch zu unterlegen. Im Rahmen ihres Vortrags stellen die Autoren (prospektive) empirische Methoden vor, die in der Lage sind, die Nützlichkeit von Empfehlungen und zukünftige Szenarien über die weitere Entwicklung von Evaluationsgegenständen abzuschätzen (Modellierungen, Trend-Analysen, qualitative Szenario-Techniken, Delphi-Methode, etc.) und diskutieren deren Umsetzbarkeit in Evaluationen.

Unternehmensstrategische Evaluierungen (USE) der GIZ werden in eigener Verantwortung ausgewählt und von der Stabsstelle Evaluierung im Auftrag des Vorstands durchgeführt. Sie haben strategische Themen der Unternehmensentwicklung bzw. der Leistungserbringung der GIZ zum Gegenstand und sind am Nutzen für das Unternehmen ausgerichtet.

Ergebnisse und Empfehlungen von USE sollen u.a. evidenzbasierte Entscheidungen und Steuerung vor allem auf strategischer Ebene ermöglichen und strategische Lern- und Veränderungsprozesse auslösen und befördern. Unternehmensstrategische Evaluierungen sind dabei beteiligungsorientiert, um die vielfältigen Erkenntnisinteressen der Stakeholder zu berücksichtigen und die Nutzung von Evaluierungsprozessen und -ergebnissen zu optimieren. Die GIZ bietet im Rahmen ihrer Evaluierungen Dialogräume und strebt danach, alle relevanten Handelnden einzubeziehen. Somit nimmt die Stabsstelle Evaluierung der GIZ im Evaluierungsprozess auch eine wichtige Moderationsfunktion ein. Dies ist insbesondere dann wichtig, wenn die Ergebnisse und Empfehlungen Unternehmensstrategischer Evaluierung intern vermittelt und anschließend umgesetzt werden müssen. Denn in diesem Prozess kann es durchaus auch zu Dissenz kommen, beispielsweise, wenn

• Ergebnisse und Empfehlungen von Stakeholdern für den eigenen Arbeitsbereich als nicht relevant genug betrachtet werden, oder
• es kann Kritik an der als nicht ausreichend empfundenen Einbeziehung bestimmter Stakeholder geben.

Dabei kommt der Stabsstelle die Aufgabe zu, geeignete Räume und Formate bereitzustellen, um Dissenz adäquat moderieren zu können. Der vorliegende Beitrag soll die (Beteiligungs-)Mechanismen beschreiben, die die GIZ zur Annahme und Nutzung von Ergebnissen und Empfehlungen von Unternehmensstrategischen Evaluierungen nutzt (z.B. Management Response, Umsetzungsvereinbarung). In einem zweiten Schritt soll der Beitrag exemplarisch den Umgang mit Dissenz in diesem Prozess aufgreifen und Lösungsansätze skizzieren.