Die Nutzung von Evaluationen gilt als zentrales Kriterium für deren Relevanz und Wirksamkeit, wird in der Forschung jedoch weiterhin als begrenzt und selektiv beschrieben. Aufbauend auf der klassischen Unterscheidung von findings use und process use fokussiert dieser Beitrag gezielt auf die Nutzung von Evaluationsergebnissen (findings use). Eine systematische Analyse der einschlägigen Literatur zeigt, dass sich der findings use deutlich differenzierter darstellt als bislang häufig angenommen: Insgesamt lassen sich 18 unterschiedliche Arten der Nutzung von Evaluationsergebnissen identifizieren, denen vielfältige Gründe für Nicht-Nutzung gegenüberstehen.

Diese theoretischen Erkenntnisse werden empirischen Befunden aus der Verwaltungspraxis gegenübergestellt. Grundlage bilden 100 leitfadengestützte Kurzinterviews mit Verwaltungsmitarbeitenden aus der deutschen Umwelt- und Verkehrspolitik (jeweils 50 Interviews pro Politikfeld). Analysiert werden konkrete Nutzungsformen von Evaluationsergebnissen, nutzungsfördernde und nutzungshemmende Faktoren sowie die aktuellen Hürden und Verbesserungsmöglichkeiten in der Evaluationsnutzung. Ein zentraler Bestandteil des Beitrags ist der systematische Vergleich der Ergebnisse zwischen den beiden Politikfeldern.

Die Ergebnisse zeigen unter anderem, dass Evaluationen in beiden Politikfeldern vor allem zur Informationsgewinnung, zur Stärkung interner und externer Kommunikation sowie zur Unterstützung politischer und organisationaler Ziele genutzt werden. Nicht-Nutzung wird hingegen primär durch politische Widerstände, eine als gering wahrgenommene Relevanz der Evaluationsberichte sowie durch mangelnde zeitliche und personelle Ressourcen erklärt. Ferner werden politikfeldspezifische Unterschiede in der Ausprägung der Nutzungsformen und Nichtnutzung festgestellt und Verbesserungsmöglichkeiten in der Kommunikation, Interpretation von Ergebnissen sowie der Kontinuität von evaluativen Maßnahmen vorgeschlagen.

Projekte der Entwicklungszusammenarbeit werden zunehmend als großvolumige, global angelegte Vorhaben mit langen und teilweise offenen Laufzeiten konzipiert. Diese Vorhaben bündeln Aktivitäten in zahlreichen Partnerländern, verfügen über komplexe Wirkungslogiken und sind häufig über Zeiträume von bis zu zehn Jahren oder länger angelegt. Aufgrund ihres finanziellen Umfangs und ihrer politischen Sichtbarkeit stehen sie zugleich unter besonderem Rechenschafts- und Erwartungsdruck.

Für ihre Evaluation ergeben sich daraus spezifische Herausforderungen, insbesondere im Hinblick auf zeitliche Dynamiken sowie mögliche Zielkonflikte zwischen Rechenschaftslegung, Steuerungsbedarfen, programmatischer Flexibilität und organisationalem Lernen. Während belastbare Aussagen zu Wirkungen und Zielerreichung erwartet werden, entfalten viele entwicklungspolitische Maßnahmen erst über längere Zeiträume Wirkungen. Gleichzeitig verändern sich Projekte im Verlauf ihrer Implementierung – etwa infolge politischer Prioritätensetzungen, institutioneller Veränderungen oder konjunktureller Entwicklungen in Partnerländern.

Aufgrund langer Laufzeiten und hoher programmatischer Komplexität müssen unterschiedliche, zeitlich gestaffelte Evaluationsinstrumente zum Einsatz kommen. Dazu zählen Baseline-, Midterm- und Endline-Erhebungen – teilweise in quasi-experimentellen Designs (z. B. Difference-in-Differences) –, aggregierte Monitoringansätze, Projektverlaufsanalysen sowie (zentrale) Projektevaluierungen. Diese Instrumente erfüllen unterschiedliche Funktionen: Sie liefern Evidenzen für Wirkungen, unterstützen Steuerungsentscheidungen während der Implementierung, erlauben Bewertungen des Projekterfolgs und tragen dazu bei, Wissen über lange Programmzyklen hinweg zu sichern.

Der Beitrag reflektiert Erfahrungen der Stabsstelle Evaluierung der GIZ mit der Evaluation solcher Vorhaben und diskutiert zentrale methodische und praktische Frage: Wie lassen sich unterschiedliche Zeitlogiken von Projektumsetzung, Evaluation und politischer Rechenschaft miteinander in Einklang bringen? Wie können Erkenntnisse aus verschiedenen Evaluationsformaten und Monitoringdaten über längere Zeiträume hinweg zusammengeführt werden? Und wie können Evaluationsansätze so gestaltet werden, dass sie evidenzbasierte Bewertung, Knowledge Continuity und organisationales Lernen in komplexen Projekten unterstützen?

Zeit stellt eine zentrale, häufig implizit behandelte Dimension in Evaluationsdesigns dar. Dabei sind unterschiedliche Ebenen zu berücksichtigen, darunter die Dauer einzelner Erhebungen, der zeitliche Aufwand für Auswertung und Ergebnisrückmeldung sowie die Länge des gesamten Evaluationszyklus. In der Evaluationspraxis stehen diese Zeitebenen oftmals in einem Spannungsverhältnis untereinander sowie zu begrenzten Ressourcen, Teilnahmemotivation und Anforderungen an wissenschaftliche Qualität.

Der Beitrag untersucht das Potenzial sogenannter planned missing data designs als methodischen Ansatz zur zeitlichen Entlastung von Evaluationen. Hierbei werden fehlende Werte gezielt und systematisch eingeplant, um Erhebungsaufwände zu reduzieren (Graham, Taylor, Olchowski, & Cumsille, 2006; Graham, 2009). Solche Designs verringern nicht nur die individuelle Belastung von Teilnehmenden durch kürzere oder weniger häufige Erhebungen, sondern erlauben unter bestimmten Voraussetzungen auch eine Verkürzung des Evaluationszyklus. Dies ist insbesondere dann relevant, wenn nicht alle Untersuchungseinheiten zu allen Messzeitpunkten erfasst werden müssen, um evaluative Fragestellungen valide zu beantworten.

Zugleich werden zentrale methodische und praktische Herausforderungen diskutiert. Dazu zählen erhöhte Anforderungen an wiederholte Messungen sowie die wachsende Komplexität der statistischen Auswertung, etwa bei der Anwendung von Full Information Maximum Likelihood oder multipler Imputation (Enders, 2022). Diese werden am Beispiel einer Studierendenbefragung erörtert, deren Durchführung und Konzeption genau beschrieben wird. Bisherige Erfahrungen mit dem daraus resultierenden Evaluationszyklus sowie der Umsetzung eines planned missing designs und multipler Imputation werden ebenfalls berichtet.

Insgesamt trägt der Vortrag zur Auseinandersetzung mit Zeit als Gestaltungsdimension von Evaluationen bei und zeigt auf, unter welchen Bedingungen planned missing designs einen tragfähigen Kompromiss zwischen wissenschaftlicher Fundierung und pragmatischen Anforderungen der Evaluationspraxis unterstützen können.

Literatur

Enders, C. K. (2022). Applied missing data analysis. New York: Guilford Press.

Graham, J. W. (2009). Missing data analysis: Making it work in the real world. Annual Review of Psychology, 60, 549–576.

Graham, J. W., Taylor, B. J., Olchowski, A. E., & Cumsille, P. E. (2006). Planned missing data designs in psychological research. Psychological methods, 11(4), 323-343.