Veranstaltungsprogramm

Am Anfang professioneller Evaluierungen steht in der Regel die Aufbereitung des aktuellen Forschungsstandes. Jedoch gibt es oft eine große, schwer überschaubare Anzahl an Studien, und diese kommen zudem nicht immer zu denselben Ergebnissen. Auch unterscheidet sich die methodische Qualität und damit die Reproduzierbarkeit und Validität der Studien teils stark. Aus der medizinischen Forschung stammend, bieten Systematic Reviews (SRs) und Rapid Evidence Assessments (REAs) Chancen für die Evaluierung einer Vielzahl von Politikfeldern. SRs – verstanden als systematische Suche, Bewertung und Analyse bestehender wissenschaftlicher Forschung – sind eine Option, um mit diesen Herausforderungen umzugehen. REAs folgen einer ähnlichen Herangehensweise zur Datenauswertung, können aber durch „methodische Abkürzungen“ schnellere Ergebnisse generieren. Beide dienen dazu, die Verlässlichkeit der getroffenen Aussagen zu erhöhen und Orientierung zum Forschungsstand zu geben.

Wir beginnen mit einem methodischen Einstieg zu SRs und REAs. Anschließend stellen wir je ein Anwendungsbeispiel aus Evaluierungen des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) vor. Im ersten Beispiel geht es um einen SR zur Wirksamkeit verschiedener multilateraler Finanzierungsmodalitäten, wofür internationale, akademische wie „graue“ Forschungsliteratur herangezogen wurde. Im zweiten Beispiel geht es um ein REA, das in einer evaluativen Studie zu Wirkungen von Maßnahmen der Entwicklungszusammenarbeit (EZ) auf Ernährungssicherheit genutzt wurde.

Ziel des Beitrags ist, den Einsatz von SRs und REAs in der Evaluierung praxisorientiert und politikfeldübergreifend zu diskutieren und methodische Chancen und Herausforderungen zu reflektieren. Chancen von SRs liegen – bei einer Umsetzung hoher Qualitätsstandards – darin, dass die gewonnenen Erkenntnisse eine hohe Verlässlichkeit aufweisen und somit eine solide Evidenzbasis für Empfehlungen darstellen. Mit REAs lassen sich Ergebnisse und Metaanalysen zwar schneller generieren, die Ergebnisse müssen jedoch mit mehr Vorsicht interpretiert werden. Methodische Herausforderungen beziehen sich auf die Entwicklung geeigneter Suchbegriffe und den Suchprozess in verschiedenen Datenbanken, den Umgang mit einer großen Vielzahl methodisch unterschiedlicher Studien, sowie in der Dauer, die für die Durchführung von SRs benötigt wird – dies vor dem Hintergrund schnelllebiger Entwicklungen im Politikfeld und der Nachfrage nach aktueller Evidenz.

Die nachhaltige Intensivierung der Milchproduktion ist ein zentrales Thema im globalen Agrar- und Ernährungssystem. In Ländern des globalen Südens können verbesserte Futtergräser eine Schlüsselrolle bei der nachhaltigen Steigerung der Milchproduktion und der Förderung nachhaltiger Landnutzung spielen. Im Rahmen des Grass2Cash@Scale Projekts und des Integrated Smallholder Dairy Programme (ISDAP) in Uganda wurden verbesserte Futtergräser erstmals unter landwirtschaftlichen Produzenten*innen verbreitet, kultiviert und folglich an Milchkühe verfüttert. Bisher liegen nur vereinzelt Erkenntnisse zu den Wirkungen dieser Innovation vor. Entsprechend sollte diese Evaluationsstudie die Einflussfaktoren auf die Nutzung dieser Innovation und deren Wirkungen untersuchen sowie Erkenntnisse zu einer zukünftigen Skalierung der Technologie liefern.

Die Auftraggebenden für diese Evaluationsstudie erwarteten eine rigorose Wirkungsmessung unter Anwendung eines quasi-experimentellen Evaluierungsdesigns. Hierzu wurden Distrikte unter Konsultation mit den Projektimplementierenden ausgewählt, in denen die oben genannten Projekte durchgeführt wurden und Haushalte entsprechend der Treatment-Gruppe zugeordnet werden konnten. In benachbarten und vergleichbaren Distrikten wurde eine Kontrollgruppe gebildet, die an dem Projekt nicht teilnahm. Fragebogengestützt wurden Daten zu zwei verschiedenen Zeitpunkten erhoben. Dieser Ansatz wurde durch Tiefeninterviews und Fokusgruppen-Diskussion komplementiert. In diesem Vortrag sollen neben den Ergebnissen vor allem auch praktische Herausforderungen in der Implementierung eines quasi-experimentellen Designs als auch in der Integration quantitativer und qualitativer Methoden im Kleinbauernsektor beleuchtet werden. So unterstreicht die Evaluationsstudie den großen Mehrwert qualitativer Methoden zur Kontextualisierung und Interpretation der beobachteten quantitativen Wirkungen und teilweise zur Identifikation von Wirkmechanismen. Darüber hinaus leisteten Sie einen wichtigen Beitrag zur Analyse von nicht-intendierten Wirkungen.

Die Evaluationsstudie zeigt, dass das Verfüttern verbesserter Futtergräser Milchproduktivität, Einkommen und Ernährungssicherheit steigern kann. Nicht-intendierte Wirkungen zeigten sich vor allem in den höheren Arbeits- und Zeitkosten für den Anbau und Transport der Futtergräser (insbesondere für Frauen) sowie einer erhöhten Bodenfruchtbarkeit für komplementäre landwirtschaftliche Produkte.

Rigorose Wirkungsevaluationen (RIE) haben das Potenzial, Grundlagen für eine wirksamere Entwicklungszusammenarbeit (EZ) zu legen (Krämer et al. 2021). Dementsprechend fordert das BMZ in seinen Leitlinien seit 2021 den gezielten Ausbau von RIE in der deutschen EZ. Da es EZ und Wissenschaft jedoch oft an Anreizen, finanziellen Mitteln und Netzwerken zur Durchführung von RIE fehlt (Krämer et al. 2021), hat das DEval im Auftrag des BMZ ein Pilot-RIE-Förderprogramm (RIE-FP) zur Verankerung von RIE in der deutschen EZ aufgelegt.

In einer Begleitevaluierung untersucht die CEval Gmbh inwiefern das RIE-FP seiner Zielsetzung gerecht wird und setzt u.a. ein Delphi-Panel mit 16 Expert*innen aus internationalen Organisationen, regionalen Evaluationsgesellschaften und Academia um. Die Delphi-Methode wird vor allem zur Prognose zukünftiger Entwicklungen und zur Diskussion von Handlungsmöglichkeiten eingesetzt (Jayawardena et al. 2022). Sie zielt darauf ab, konvergierende und divergierende Perspektiven von Expert*innen zu einem spezifischen Thema herauszuarbeiten, zu gewichten und zu priorisieren. Aus qualitativen Daten der ersten Erhebungsrunde werden Thesen gebildet, die in einer zweiten Runden den gleichen Expert*innen anonymisiert zur Reflektion und Priorisierung vorgelegt werden.

Die hohe Teilnahmequote am Delphi-Panel – unter anderem von renommierten Expert*innen seitens JPal, DIME, Weltbank/IEG – und deren starkes Interesse, eigene Perspektiven zur Förderung von RIE einzubringen spricht für eine positive (inter-)nationale Rezeption des RIE-FP. Die inhaltsanalytische Auswertung der ersten Delphi-Runde zeigt, dass das RIE-FP internationale Aufmerksamkeit genießt und eine Förderlücke auf nationaler Ebene adressiert. Durch ein Matchmakingevent, das Wissenschaftler*innen und interessierte EZ-Projekte zusammenbringt, bietet das RIE-FP der deutschen EZ und der Wissenschaft in Deutschland Zugang zu RIE und trägt zur stärkeren Vernetzung bei. Dies stellt in Abgrenzung zu anderen RIE-Fördermöglichkeiten ein Alleinstellungsmerkmal des RIE-FP dar.

Inwiefern das RIE-FP zur Verstetigung und Institutionalisierung von RIE in der deutschen EZ beiträgt, kann aktuell noch nicht bewertet werden. Hinsichtlich Programmdesign und strategischer Ausrichtung liefert das Delphi-Panel jedoch wertvolle Impulse für die künftige Ausrichtung des RIE-FP.