Zeit: Donnerstag, 18.09.2025: 14:30 - 16:00 Leitung der Sitzung: Frank König, Deutsches Jugendinstitut e.V. |
Die Session betrachtet Evaluierungskapazitäten und -ansätze öffentlicher Auftraggeber:innen in Deutschland und Lateinamerika. Sie bietet sowohl Einblicke in die divergente Evaluierungspraxis verschiedener deutscher Bundesministerien und deren Zusammenarbeit als auch in das internationale Monitoring nationaler Evaluierungssysteme, das diese Systeme stärken soll. Darüber hinaus werden die Qualität öffentliche Ausschreibungsprozesse von Evaluierungen und Möglichkeiten ihrer Verbesserung besprochen.
Evaluierungspraxis in zwei Bundesministerien
1Auswärtiges Amt, Deutschland; 2Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung, Deutschland
Das Auswärtige Amt (AA) und das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) stellen die Evaluierungspraxis in beiden Ministerien vor und gehen dabei auf Gemeinsamkeiten, Unterschiede und Gründe für teils unterschiedliche Ansätze ein.
Die systematische Messung nationaler Evaluierungssysteme - Vorstellung des INCE
DEval, Deutschland
Der „National Evaluation Capacities Index“ (INCE) misst systematisch Evaluierungskapazitäten in derzeit zehn Ländern in Lateinamerika. Im laufenden Jahr werden voraussichtlich acht weitere Länder in Afrika und Asien hinzukommen. Der INCE misst fünf Dimensionen von Evaluierungssystemen, wobei die Messungen von der jeweiligen nationalen Evaluierungseinheit verantwortet durchgeführt werden. Die sogenannten „INCE Use Workshops“ bringen nach jeder Messung evaluierungsrelevante Akteure des Landes und von Nachbarländern zusammen, um die Ergebnisse zu diskutieren. Dadurch fördert der INCE den evidenzbasierten Austausch zu Evaluierungssystemen zwischen Interessenvertretern und macht die Evaluierungsfunktion für Entscheidungsträger besser sichtbar.
Der INCE wurde von über dreißig Organisationen aus dem multilateralen und lateinamerikanischen Raum entwickelt. Wichtige Akteure hierbei und in der Messung des INCE sowie in der Auswertung der Ergebnisse hinsichtlich der Evaluierungssystemstärkung sind nationale und regionale Evaluierungsgesellschaften.
Durch die systematische Bewertung von fünf Dimensionen eines Evaluierungssystems - wie institutionelle Struktur, Evaluierungsqualität und Einbeziehung von Stakeholdern - hilft INCE bei der Identifizierung von Stärken des Evaluierungssystems, Lücken und Möglichkeiten zur Entwicklung von Evaluierungskapazitäten auf nationaler und regionaler Ebene.
In der Präsentation soll der INCE, seine Entstehungsgeschichte, die Methodik der Durchführung sowie Ergebnisse des INCE vorgestellt werden. Es soll außerdem gezeigt werden, wie der INCE Evaluierungssysteme festigt sowie nationale und regionale Evaluierungsnetzwerke stärkt.
Die Qualität von Evaluationsausschreibungen. Wie steht es um die Professionalisierung und Auftraggebendenkompetenz bei der Vergabe von Evaluationen?
1Deutsche Universität für Verwaltungswissenschaften Speyer; 2Deutsches Forschungsinstitut für öffentliche Verwaltung Speyer
Evaluation ist im Wesentlichen anwendungsorientierte Auftragsforschung. Die Auftraggebenden sind hierbei in aller Regel öffentliche Einrichtungen wie Ministerien, nachgeordnete Behörden oder im Großteil durch öffentliche Mittel finanzierte Organisationen des Dritten Sektors. Damit sind diese dem im vornehmlich europäisch geprägten Vergabe- und Beihilferecht unterworfen: Die Ausschreibungen sind somit in einen Rechtskorpus eingebunden, der weniger für komplexe sozialwissenschaftliche Dienstleistungen entworfen wurde, sondern für materiale Beschaffungsakte und Baumaßnahmen.
Die Ausgestaltungen von Ausschreibungen variiert je nach den Auftraggebenden stark – ein entscheidender Faktor kan die Professionalisierung auch auf Auftraggebendenseite. Während bei manchen Ausschreibungen der Eindruck vorherrscht hier würde eher eine Baumaßnahmen mit klaren baulichen Vorgaben beschafft, herrscht bei anderen eine Unterspezifizierung vor, die Anbieter:innen in Unsicherheit über den gewünschten (und finanzierbaren) Leistungsumfang und anwendbare Methoden setzt. Beide Extreme lassen wenig Verständnis für die professionellen Kompetenzen von Evaluator:innen und ihre Geschäftsmodelle erkennen. Ausschreibungen in besser institutionalisierten und (professionalisierten) Feldern lassen jedoch mehr Gespür für die Anforderungen von Evaluator:innen und die Informationsbedarfe für ein passfähiges Angebot erkennen. Die gegenwärtigen Diskussionen in der DeGEval zur Revision der Empfehlungen für Auftraggebende spiegeln die Problematik wieder (siehe Nowack et al in der ZfEv 2/2024).
Der Beitrag schließt an diese Diskussionen an und entwirft zunächst ein Qualitätskonzept für Ausschreibungen, dass die Evaluationen immanenten Spannungsverhältnissen zwischen klarer Zielorientierung und konzeptionell-methodischer Offenheit, zwischen der Fachkompetenz der Ausschreibenden und der spezifischen konzeptionell-methodischen Kompetenzen der Evaluierenden, aber auch die Finanzierungsmöglichkeiten und Geschäftsmodelle von Evaluator:innen berücksichtigt. Dieses Konzept wird in einer qualitativen Inhaltsanalyse von Ausschreibungen, die systematisch aus bundesweiten Vergabeplattformen ausgewählt wurden, angewendet und (vorläufige) Ergebnisse präsentiert. Der Beitrag schließt mit Anforderungen an professionelle Ausschreibungen und fragt nach möglichen Maßnahmen zur Stärkung und Professionalisierung von Auftraggebendenkompetenz.