Im Rahmen der Evaluierung Dezentralisierung in Afrika (DEval, 2026) wurde ein innovatives Verfahren entwickelt, das mithilfe von Large Language Models (LLMs) große Mengen an Evaluierungsberichten der Entwicklungszusammenarbeit (EZ) systematisch auswertet. Ziel ist es, Übereinstimmungen und Abweichungen zwischen den in den Berichten dokumentierten Wirkungsfeldern und einer rekonstruierten Theorie des Wandels zu identifizieren, die postulierten Wirkungsverbindungen zu testen und sie semantisch einzuordnen.

Die Anwendung des Verfahrens zeigte jedoch zentrale Herausforderungen im Umgang mit LLMs auf: Dazu zählen die Trennschärfe zwischen benannten Zielen und empirisch belegten Wirkungen, Bias in der Einschätzung von Übereinstimmung sowie die Bewertung von Restunsicherheiten durch das Modell. Die im Vortrag vorgestellten Praxiserfahrungen unterstreichen die Notwendigkeit einer kritischen Abwägung des Einsatzes LLM-basierter Methoden. Denn während automatisierte Verfahren scheinbar Zeit sparen und die Stichprobenbasis erweitern, riskieren diese Vorteile auf Abzüge in der methodischer Sorgfalt und Nachvollziehbarkeit. Dieser Zielkonflikt wird durch die realen Arbeitsbedingungen verschärft: Zeitdruck und der Anspruch auf valide, umfassende Ergebnisse erfordern eine bewusste Balance zwischen Effizienz und analytischer Präzision.

Der Vortrag reflektiert die praktischen Erfahrungen mit dem Verfahren und diskutiert mögliche Lösungsansätze, darunter der Einsatz von causal queries zur Verbesserung der Analyse von Kontribution. Der Beitrag liefert praxisrelevante Ansatzpunkte für die methodische Weiterentwicklung von Evaluationsverfahren und greift dabei die zeitlichen Dynamiken auf, die im Fokus der DeGEval-Jahrestagung 2026 stehen.

Zeitdruck ist in vielen Evaluationsvorhaben strukturell angelegt (enge Berichtstermine, begrenzte Ressourcen) und kann die Qualität mindern, wenn Auswertungsschritte verdichtet oder Dokumentation verkürzt werden. Der Beitrag ist methodisch ausgerichtet und zeigt, wie Large Language Models (LLM) mit Retrieval-Augmented Generation (RAG) als Unterstützung genutzt werden können, ohne Nachvollziehbarkeit und Verantwortlichkeit zu verlieren.

RAG fungiert als Kontroll- und Transparenzschicht: Für jeden Text/Abschnitt werden passende Referenzen abgerufen (z.B. Codebuchpassagen, bereits kodierte Beispiele oder eine begrenzte Auswahl möglicher Kategorien) und als Kontext in den Prompt gegeben. Das LLM erzeugt daraufhin einen Kodier-/Kategorisierungsvorschlag (mit kurzer Begründung), der bei deterministischen Einstellungen (T=0) primär auf dieser Evidenz aufbaut. Dadurch sind Ergebnisse nachvollziehbar und bei gleichen Bedingungen reproduzierbar. Zudem lassen sich Fehlerquellen getrennt betrachten (Evidenzbasis vs. Modellentscheidung).

Wir demonstrieren die Logik in zwei Feldern: (1) Zur Anerkennung ausländischer Berufsabschlüsse in einem großskaligen Setting (n=80.033 Datensätze, 771 Kategorien) liefert RAG pro Text eine fallbezogene Kandidatenmenge, aus der das Modell eine Zuordnung vorschlägt. Das begrenzt Fehlzuordnungen und zeigt, ob Probleme eher aus fehlenden/ungeeigneten Referenzen oder aus Mehrdeutigkeit der Textgrundlage resultieren. (2) In einem Projekt zu Wirkungen des neuen Fachkräfteeinwanderungsrechts werten wir qualitative Interviews aus: Wir erstellen einen Korpus menschlich kodierter Segmente (inkl. Codebuch), auf den RAG für neue Segmente zugreift. Das Modell schlägt darauf aufbauend eine priorisierte Codeliste mit Kurzbegründung und Verweisen auf ähnliche Beispiele vor. Die finale Kodierung und Interpretation verbleibt beim Forschungsteam.

Der Beitrag zeigt, wie sich knappe Zeitressourcen gezielt einsetzen lassen: Wir trennen systematisch Probleme der Evidenzbasis (fehlende/ungeeignete Referenzen) von Problemen der Entscheidung (uneindeutige Evidenz). Erstere lassen sich nur durch bessere Datenarchitektur beheben, letztere durch priorisierte menschliche Prüfung. So wird Zeit dort investiert, wo sie die Güte wirklich erhöht. Darüber hinaus werden wünschenswerte Dokumentations- und Prüfnormen für KI-Anwendungen in Evaluationen sowie Herausforderungen wie Datenschutz, digitale Souveränität und die Klärung von Rollen und Verantwortlichkeiten diskutiert.

Humanitarian evaluations are often conducted under considerable temporal pressure. Access constraints, insecurity, changing implementation conditions and seasonal effects complicate the interpretation of observed change, while commissioners still require timely and actionable findings. This tension between speed, methodological rigour and practical usefulness is particularly pronounced in hard-to-reach settings, where repeated data collection exists but is not always fully exploited analytically.

This presentation shows how data science tools and machine learning can deepen the analysis of evaluative data without replacing established evaluation logic. It draws on the public reproducibility repository of the impact analysis of the SAHaRA II project in Borno State, Nigeria, a humanitarian intervention supporting internally displaced persons, returnees and host communities with food and WASH assistance. The study combines repeated household survey data from four assessment rounds with a transparent, code-based workflow. A public repository on GitHub with the reproducible R code and anonymised datasets are available at https://github.com/movimentar/impact-analysis-sahara

Methodologically, the contribution demonstrates how a time-sensitive evaluative design can integrate Difference-in-Differences and Propensity Score Matching with machine learning tools. In this case, Random Forest models were used as exploratory and diagnostic instruments to identify non-linear predictors of food security and coping outcomes, support variable selection, and deepen interpretation of heterogeneous effects across population groups and survey rounds.

The paper argues that these approaches offer three benefits for evaluation practice. First, they support more credible modelling of temporal dynamics where attribution is difficult. Second, they help evaluators derive deeper insight from existing datasets under conditions of time pressure. Third, when embedded in an open and reproducible workflow, they strengthen transparency, scrutiny and organisational learning.

The contribution addresses the conference theme by showing how temporal complexity can be handled through a combination of evaluative reasoning, computational methods and reproducible practice. It contributes to current debates on methodological robustness, the quality of evaluation under constrained timelines, and the role of digital tools in evaluation.