Veranstaltungsprogramm

Das Nützlichkeits-Trilemma

Evaluationen bewegen sich in einem Spannungsfeld zwischen drei Dimensionen von Nützlichkeit, die alle Zeit als knappe Ressource beanspruchen: Rechtzeitigkeit bedeutet, dass Evaluationsergebnisse zum richtigen Zeitpunkt vorliegen müssen, um Entscheidungen zu informieren – aber gute Daten brauchen Zeit. Ergebnisqualität erfordert methodisch robuste und belastbare Befunde, die ausreichend Zeit für Datenerhebung, Analyse und Validierung benötigen – aber Entscheidungen sind oft nicht verschiebbar. Prozessnutzen entsteht, wenn Partizipation ermöglicht und Evaluationen als Lern- und Reflexionsräume gestaltet werden, dies beansprucht aber zusätzliche Zeit, die im Budget oft nicht vorgesehen ist. Die Herausforderung liegt darin, dass alle drei Dimensionen für nützliche Evaluationen wichtig sind, in der Praxis aber um dasselbe knappe Gut konkurrieren: Zeit.

Die an der Evaluation beteiligten Akteure (Auftraggebende, Evaluierende, Nutzende) haben mit Blick auf die oben genannten verschiedenen Dimensionen von Nützlichkeit oft divergierende, teils konfligierende Zeitlogiken und Prioritäten. Erfolgreiche Evaluationen erfordern demnach eine explizite Aushandlung dieser Unterschiede, gegenseitiges Verständnis und kreative Lösungen, die den beteiligten Perspektiven gerecht werden.

Ziel und Fragestellungen der Session

In der vorliegenden Session soll aus unterschiedlichen Perspektiven beleuchtet werden, welche Rolle der Faktor Zeit in Evaluationen im Hinblick auf die oben genannten Dimensionen von Nützlichkeit spielt, welche Spannungsfelder dabei auftreten und welche Lösungsansätze bestehen, um mit diesen umzugehen. Dabei stehen folgende Leitfragen im Vordergrund:

1. Rechtzeitigkeit versus Ergebnisqualität: "Lieber pünktlich mit Unsicherheiten oder zu spät mit robusten Befunden?"

• Wo liegt die Grenze zwischen "gut genug für Entscheidungen" und "methodisch nicht vertretbar"? Sind schnelle, aber weniger detaillierte Ergebnisse für die Entscheidungsfindung hilfreicher als späte, aber umfassende Befunde? Welche Risiken entstehen, wenn Entscheidungen aufgrund von Zeitdruck auf Basis unvollständiger Evaluationsergebnisse getroffen werden? Wie kommunizieren Evaluator*innen realistisch die Grenzen dessen, was in welchem Zeitrahmen leistbar ist? Welche Verantwortung liegt bei Auftraggebenden?

• Welche Lösungsansätze bestehen? Wie kann im Aushandlungsprozess zwischen Auftraggebenden und Auftragnehmenden mit diesem Spannungsverhältnis umgegangen werden (realistische Zeit- und Kostenschätzung, Festlegung verbindlicher Qualitätskriterien und klare Nutzungsprioritäten)? Wie können entsprechende Trade-offs transparent gemacht werden? Inwieweit kann ein gestuftes Vorgehen sinnvoll sein?

2. Prozessnutzen versus Ressourceneffizienz: "Evaluation als Lernraum – strategischer Mehrwert oder teure Zeitverschwendung?"

• Wann lohnt es sich, bewusst mehr Zeit für partizipative Prozesse einzuplanen? Inwieweit bietet der Evaluationsprozess wertvolle Reflexionsräume, die im Arbeitsalltag sonst fehlen und wann stören diese den Arbeitsfluss oder führen zu Partizipationsmüdigkeit? In welchen Evaluationskontexten und zu welchem Zeitpunkt im Programmzyklus ist Prozessnutzen essenziell, und wo kann darauf zugunsten von Effizienz verzichtet werden? Widerspricht ein ausgeprägter Prozessnutzen-Ansatz dem Bedarf nach klaren, schnellen Entscheidungsgrundlagen?

• Welche Lösungsansätze gibt es? Welche Formate schaffen Prozessnutzen, ohne das Zeitbudget zu sprengen? Wie können wir Prozessnutzen so erfassen, dass er in Kosten-Nutzen-Überlegungen einbezogen werden kann? Wann sollten wir partizipative Prozesse bewusst begrenzen oder abbrechen, weil der Grenznutzen sinkt?

Format:

Um möglichst viele unterschiedliche Perspektiven berücksichtigen zu können, wird das Format der Fishbowl-Diskussion (Innen-/Außenkreis-Methode) durchgeführt. Die vortragenden Diskutant*innen bilden den inneren Kreis, Zuhörer*innen bilden den Außenkreis. Eine interaktive Einbindung der Zuhörer*innen findet durch das Anbieten von freien Plätzen im inneren Kreis statt, sodass sie sich an der moderierten und strukturierten Diskussion beteiligen können.

Diskutant*innen

• Astrid Ganterer, Austrian Development Agency (ADA)
• Christoph Hartmann, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)
• Dr. Felix Gaisbauer, DLR-Projektträger
• Ann-Christine Hayk, Terre des Hommes, Sprecherin AG Wirkungsorientierung VENRO (angefragt)
• alle Teilnehmenden der Session, die das Fishbowl-Format nutzen möchten!