Evaluierungsstandards stellen grundlegende Anforderungen an die Qualität von Evaluierungen dar. Sie geben vor, welche Inhalte und Prozesse angewandt werden müssen, um die Qualität von Evaluierungen sicherzustellen. Die Arbeit mit Evaluierungsstandards bezieht dabei deren Entwicklung über Standarddokumente, wie sie beispielsweise von der DeGEval oder der OECD-DAC erarbeitet wurden, sowie deren Anwendung und das Monitoring der Anwendung mit ein.

Im Kontext des Tagungsthemas „Evaluation und Zeit" erweist sich der zeitliche Faktor bei der Arbeit mit Evaluierungsstandards als mehrdimensional relevant: Erstens unterliegen Evaluierungsstandards selbst zeitlichen Veränderungen. Während beispielsweise Evaluierungsstandards wie die methodische Güte in einigen Standarddokumenten bereits seit längerer Zeit verankert sind, kommen andere – etwa die Verankerung von Gender – neu hinzu. Zweitens entstehen Spannungsfelder mit Bezug zu Zeit zwischen einigen Qualitätsstandards: Methodische Qualität und angemessene Partizipation erfordern auf der einen Seite Zeit während der Anwendung, während auf der anderen Seite Evaluierungen gleichzeitig effizient und rechtzeitig abgeschlossen werden müssen. Drittens stehen Akteure, die für die Einhaltung und Anwendung von Evaluierungsstandards verantwortlich sind, vor der Herausforderung einer wachsenden Anzahl von Evaluierungsstandards. Deren Anwendung wird angesichts begrenzter Evaluierungszeiträume und Budgets zunehmend anspruchsvoller.

Ein Fokus dieser Session soll auf der dritten Dimension liegen. Aus verschiedenen Perspektiven soll zunächst dargestellt werden, welche Rolle der Zeitfaktor bei der Erarbeitung und Anwendung von Evaluierungsstandards spielt. Anschließend soll gemeinsamen im Panel sowie mit dem Plenum reflektiert werden:

• Was sind die größten Herausforderungen bei der Anwendung von Evaluierungsstandards?

• Welche Strategien und Prozesse können eine realistische Anwendung von Evaluierungsstandards ermöglichen?

Input 1 (DEval):

Erarbeitung und Anwendung von Evaluierungsstandards

Das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) stellt zwei Produkte vor: Das „Qualitätsraster für Evaluierungen in der deutschen Entwicklungszusammenarbeit“ wurde letztes Jahr im Rahmen eines konsultativen Stakeholderprozesses entwickelt. Es enthält die für die deutsche EZ relevanten Evaluierungsstandards, die aus den Standarddokumenten von DeGEval und OECD-DAC sowie aus den Leitlinien Evaluierung des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung abgeleitet wurden. Darüber hinaus wird ein organisationsinternes digitales Lern- und Compliance-Tool vorgestellt, das sowohl die Einhaltung von Evaluierungsstandards sicherstellen als auch als Lern-Tool genutzt werden soll.

Input 2 (Susanne von Jan, smep-consult und Mitglied des DeGEval-Vorstand)

Die Anwendung der Evaluierungsstandards aus Perspektive der Evaluierenden

Die Standards für Evaluation stellen für die meisten Evaluierenden wichtige Leitplanken für die eigene Arbeit dar. Bei der Umsetzung der Standards ist allerdings zu beachten, dass nur manche Standards in der Verantwortung der Evaluierenden liegen, während andere Standards v.a. von den Auftraggebenden umgesetzt werden müssen. Zudem gibt es manche Standards, die den Werten der Evaluierenden so stark entsprechen, dass sie quasi automatisch umgesetzt werden, während andere Anforderungen an Evaluierung neu hinzukommen und bewusst umgesetzt werden müssen. Darüber hinaus gibt es verschiedene Spannungsfelder bei der Umsetzung, die sich beispielsweise aus dem Faktor Zeit aber auch aus den Anforderungen der Leistungsbeschreibung ergeben können. Im Rahmen des Inputs werden verschiedene Herausforderungen und Lösungsansätze angesprochen.

Input 3: (Prof. Dr. Lars Balzer, Eidgenössische Hochschule für Berufsbildung)

Revidierung und Anwendung der Standards der Schweizerischen Evaluationsgesellschaft (SEVAL)

Um die Professionalisierung der Evaluationspraxis in der Schweiz zu unterstützen, hat die SEVAL kurz nach ihrer Gründung im Jahr 1996 eine Arbeitsgruppe mit der Entwicklung von Evaluationsstandards beauftragt. Im Jahr 2001 wurde eine erste Fassung der SEVAL-Standards von der Mitgliederversammlung verabschiedet. Zwischen 2013 und 2016 wurden die Standards in einem partizipativen Prozess überarbeitet und unter anderem mit einer anderen Gliederung versehen. Um herauszufinden, wie bekannt die SEVAL-Standards sind, wie häufig und auf welche Art sie genutzt werden und wie sich dies mit der Zeit verändert hat, fanden in den Jahren 2012 und 2025 Mitgliederbefragungen statt. Der Input geht auf Besonderheiten der SEVAL-Standards (auch im Vergleich zu den DeGEval-Standards) sowie auf Erkenntnisse zu deren Bekanntheit und Nutzung ein.

Input 4: (Dr. Vera Hundt, Stabsstelle Evaluierung, GIZ)

Anwendung von Evaluierungsstandards in den Zentralen Projektevaluierungen (ZPE) der GIZ

Die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH stellt vor, wie sie Evaluierungsstandards in den Zentralen Projektevaluierungen (ZPE) in die Praxis umsetzt. Einerseits wird gezeigt, mit welchen Instrumenten die Standards von OECD-DAC, BMZ sowie dem neu entwickelten „Qualitätsraster für Evaluierungen in der deutschen Entwicklungszusammenarbeit" des DEval umgesetzt werden: etwa durch einen Qualitäts-Check für methodische Standards, durch Terms of Reference und annotierte Berichtsformate zu Methodik und Prozessqualität sowie durch ein Reflection Meeting zur Förderung der Nützlichkeit. Andererseits liegt der Fokus auf zwei organisationsinternen Standards der GIZ: der Kontributionsanalyse und der Effizienzanalyse. Mit der Kontributionsanalyse werden ausgewählte Wirkungshypothesen geprüft, um kausale Wirkungszusammenhänge in komplexen Vorhaben zu analysieren. Die Effizienzanalyse folgt dem Follow-the-Money-Ansatz zur systematischen Bewertung von Kosten-Output-Relationen, wobei die Analyse methodisch sowohl dem Minimalprinzip (Sparsamkeit) als auch dem Maximalprinzip (Maximierung der Wirkungen) folgt.