Auch in der Forschungs-, Technologie- und Innovationspolitik (FTI) wird seit einigen Jahren gefordert, politische Entscheidungen stärker evidenzbasiert auszurichten. Evaluationen sollen valide Aussagen zu Wirkungen liefern und damit eine Grundlage für politische Entscheidungen schaffen. Diese Forderung ist plausibel, wirft jedoch die Frage auf, welche Evidenz zu welchem Zeitpunkt und unter welchen Bedingungen überhaupt erreichbar ist.

Im Vortrag wird auf die Voraussetzungen für die Wirkungsbewertung in der FTI-Politik eingegangen. Wirkungen entfalten sich typischerweise entlang einer zeitlich gestaffelten Logik (Input-Output–Outcome-Impact). Evidenz kann daher erst entstehen, wenn Wirkungen empirisch beobachtbar sind. Gleichzeitig hängt die Art der möglichen Evidenz davon ab, welche Wirkungen entsprechend den Programmzielen adressiert werden und auf welcher Ebene der Wirkungskette diese liegen.

Neben dieser zeitlichen und wirkungslogischen Dimension spielen strukturelle Bedingungen der Förderinstrumente eine wichtige Rolle. Dazu zählen etwa die Art des Förderinstruments, die Zuteilungslogik (z. B. Randomisierung, Wettbewerb, Cut-off), methodische Restriktionen (z.B. begrenzte Vergleichsgruppen, Datenverfügbarkeit) sowie die systemische Komplexität von Innovationsprozesse (z.B. bei missionsorientierten Ansätzen).

Am Beispiel verschiedener Instrumenttypen der FTI-Förderpolitik wird dargestellt, dass sich verschiedene Evidenzprofile ergeben, die aus dem Zusammenspiel von Wirkungskettenlogik, strukturellen Faktoren und zeitlichen Faktoren entstehen. Während bei standardisierten Programmen unter bestimmten Bedingungen experimentelle oder quasi-experimentelle Designs möglich sind, lassen sich Wirkungen in komplexeren, missionsorientierten Programmen häufig nur mittels theorie-, bzw. beitragsorientierter Ansätze (z.B. Contribution Analysis, Outcome-Harvesting) nachweisen. Gleichzeitig kann sich mit zunehmender zeitlicher Distanz die kausale Zuordnung von Wirkungen durch eine steigende Komplexität erschweren.

Es bietet sich daher an, die berechtigte Forderung nach evidenzbasierter Politik stärker an strukturellen und wirkungslogischen Voraussetzungen der Wirkungsbewertung auszurichten. Auch wenn die Überlegungen am Beispiel der FTI-Politik entwickelt werden, lassen sich diese auf andere Politikfelder übertragen, in denen Wirkungen komplex, zeitverzögert und nur begrenzt experimentell isoliert werden können.

Maßnahmen im Klima-, Natur- und Umweltschutz entfalten ihre Wirkungen häufig erst mit erheblicher zeitlicher Verzögerung. Veränderungen von Ökosystemen, Emissionsminderungen oder strukturelle Transformationen werden vielfach erst Jahre nach Projektende messbar. Gleichzeitig benötigen Auftraggebende der öffentlichen Verwaltung bereits deutlich früher belastbare Erkenntnisse, um Programme weiterzuentwickeln, Ressourcen zu priorisieren und evidenzbasierte Entscheidungen zu treffen. Evaluation steht damit vor der Herausforderung, Bewertungen vorzunehmen, obwohl zentrale Wirkungen noch nicht empirisch beobachtbar sind.

Der Beitrag diskutiert, welche methodischen und konzeptionellen Voraussetzungen Evaluation benötigt, um unter diesen Bedingungen fundierte Aussagen zu treffen. Dazu gehören unter anderem theoriegeleitete Wirkungsmodelle, die Nutzung geeigneter Proxy-Indikatoren, die systematische Einbindung von Monitoringdaten sowie die Kombination quantitativer und qualitativer Evidenz. Gleichzeitig stellt sich die Frage, wie zuverlässig Bewertungen in frühen Phasen sein können und wo Grenzen der Aussagekraft liegen – etwa wenn Wirkungsannahmen stark von externen Rahmenbedingungen oder langfristigen Systementwicklungen abhängen.

Diese Fragen werden anhand von zwei bis drei Praxisbeispielen aus der Projektträgerarbeit der ZUG gGmbH beleuchtet. Die Förderprogramme im Portfolio der ZUG verfolgen in der Regel langfristige klima- und umweltpolitische Ziele, während Evaluation und Programmsteuerung gleichzeitig kurzfristige Entscheidungsgrundlagen benötigen.

Der Beitrag zeigt auf, welche Ansätze in der Praxis umgesetzt werden, um Wirkungsannahmen plausibel zu prüfen, Fortschritte sichtbar zu machen und dennoch transparent mit Unsicherheiten umzugehen. Gleichzeitig wird diskutiert, wo Evaluation bewusst Zurückhaltung üben muss und welche Formen der Ergebnisdarstellung helfen können, Entscheidungsträger*innen trotz begrenzter Evidenz eine tragfähige Orientierung zu geben.

Ziel des Vortrags ist es, einen praxisnahen Beitrag zur Diskussion zu leisten, wie Evaluation in Politikfeldern mit langen Wirkungszeithorizonten handlungsrelevante Erkenntnisse liefern kann – und welche Erwartungen an Bewertung und Evidenz dabei realistisch sind.

Die Durchführung von regelmäßigen Evaluationsverfahren ist fester Bestandteil der Qualitätssicherung im außeruniversitären Bereich. Die vier großen deutschen Forschungsorganisationen, die Fraunhofer-Gesellschaft, die Helmholtz-Gemeinschaft, die Max-Planck-Gesellschaft und die Leibniz-Gemeinschaft haben zu diesem Zweck jeweils eigene Richtlinien und Prozesse etabliert, um in periodischen Zeitabständen u. a. die wissenschaftliche Qualität, die inhaltliche und strategische Zielerreichung sowie den qualitativen und quantitativen Leistungsumfang ihrer Mitgliedsinstitutionen zu prüfen.

Die entsprechenden Evaluationszeiträume sind in der Regel so gewählt, dass sie geeignet sind ein ausreichendes Bild der Leistungsfähigkeit der zu bewertenden Mitgliedsinstitution zu zeichnen, doch können die Abstände zwischen zwei Begutachtungszyklen auch variieren und bspw. verkürzt werden, um bei einem vorhergehenden mangelhaften Begutachtungsergebnis zeitnah zu prüfen, ob entsprechende Empfehlungen umgesetzt wurden und die notwendigen Voraussetzungen für eine weitere institutionelle Förderung gegeben sind.

Solch ein verkürztes Verfahren stellt die Mitgliedsinstitutionen zusätzlich vor verschiedene Herausforderungen: So müssen zum einen, die seit der letzten Evaluation, angestoßenen konzeptuell-strategischen Weiterentwicklungen und Transformationsprozesse bereits in ihrer Implementierungs- bzw. frühen Umsetzungsphase die Evaluatorinnen und Evaluatoren überzeugen. Zum anderen können die immer stärker geforderten Nachweise eingetretener Wirkungen auf verschiedenen gesellschaftlichen und politischen Ebenen, oftmals nicht oder nur unzureichend für einen kurzfristigen Zeitraum von wenigen Jahren erbracht werden.

In diesem Vortrag soll die vorliegende Problematik am Beispiel des standardisierten Evaluationsverfahrens der Leibniz-Gemeinschaft näher betrachtet werden: Wie können Qualitäts- und Wirkungsmanagement strategisch und methodisch ausgestaltet werden, um eine kontinuierliche und systematische Datenerhebung und -analyse zu gewährleisten? In welcher Form und mit welchen Formaten, können die Auswertungsergebnisse aufbereitet und dauerhaft aktuell gehalten werden, um sie bei Bedarf sofort vorlegen zu können?

Diese und weitere Fragen sollen am Beispiel der ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft, die sich momentan im Abschluss einer Leibniz-Evaluation befindet, behandelt sowie mögliche Lösungsansätze vorgeschlagen und diskutiert werden.