Wie können Indikatoren entwickelt werden, die es einerseits erlauben die Wirksamkeit komplexer Programme zu bewerten, die andererseits aber der Realität der im Rahmen solcher Programme umgesetzten Projekte gerecht werden?

Der Vortrag erläutert zunächst die Notwendigkeit zur Entwicklung von Indikatoren im Prozess der Evaluation am Beispiel der Evaluation des Programmbereichs der Innovationsprojekte Extremismusprävention des Bundesprogramms „Demokratie leben!“. In der Folge wird das methodische Vorgehen dargelegt und mit Beispielen aus der Praxis illustriert.

In vier Themenfeldern der Prävention von Extremismus werden insgesamt 24 Projekte von 2025 bis 2028 durch das Programm gefördert. Um Aussagen zur Bewertung von Wirkungen zu treffen, ist auf den jeweiligen Ebenen die Entwicklung von Indikatoren für den Projekt-, Programmbereichs- und Programmerfolg notwendig. Aufgrund der Diversität der Projekte hinsichtlich der Bearbeitung unterschiedlicher Themenfelder, der Nutzung unterschiedlicher methodischer Ansätze sowie der Adressierung verschiedener Zielgruppen wird die Entwicklung von Indikatoren im Verlauf der Evaluation in mehreren Schritten und unter Einbeziehung der Umsetzenden aus der Praxis vorgenommen.

Zum einen werden auf Grundlage wissenschaftlicher Expertise theoretische Ansätze entwickelt, woran sich der Erfolg projektspezifischer Methoden bemessen lässt. Zum anderen werden partizipative Prozesse genutzt, um das implizite Wissen der Projektumsetzenden in die Entwicklung von Zielmodellen und der Formulierung entsprechender Indikatoren für deren Erreichung einzubeziehen. Dies geschieht sowohl durch die Entwicklung von Wirkmodellen in vertiefenden Wirkungsanalysen als auch in Angeboten, die zur Durchführung von Selbstevaluationen befähigen. Die hier auf Projektebene generierten Faktoren werden zunehmend aggregiert und zu einzelnen Programmzielen in Bezug gesetzt.

Die Annäherung aus wissenschaftlicher Sicht auf der einen sowie der Perspektive der Projektpraxis auf der anderen Seite, erlaubt sukzessive die Generierung und Validierung projektübergreifender Indikatoren.

Der Vortrag leitet aus dem vorgestellten Beispiel Schlussfolgerungen ab, in welcher Form eine integrative Bewertung von Wirkungen gelingen kann, die einerseits der Emergenz von Programmen, andererseits der Besonderheit von Projekten Rechnung trägt.

Die zunehmende Ausrichtung der Forschungs- und Innovationspolitik (FTI-Politik) auf gesellschaftliche Herausforderungen erfordert Evaluierungsansätze, die transformative Wirkungen erfassen. Herkömmliche Frameworks stützen sich auf wachstumsorientierte Kennzahlen oder richtungsbezogene Indikatoren (Miedzinski et al., 2023). Diese erfassen, was sich verändert und wohin, geben aber wenig Aufschluss darüber, wie sich Transformation vollzieht – ob sie sich beschleunigt, vertieft, verbreitert oder Strukturen destabilisiert (Molas-Gallart et al., 2021; Arnold, 2023).

Der Beitrag stellt das TIME-Framework (Transformative Innovation Monitoring and Evaluation) als Bottom-up-Ansatz zur Entwicklung kontextspezifischer Transformationsindikatoren vor. Der Fokus liegt auf Transformation als konkrete intermediäre Outcomes (vgl. Termeer & Dewulf, 2019). Anders als Ansätze mit fester Transformationstheorie bietet TIME eine Methodik, mit der Evaluator:innen Indikatoren aus eigenen Wirkungslogiken ableiten. Es umfasst eine Matrix von 48 Transformations-„Katalysatoren" – Mechanismen wie Kapitalumschichtungen, Geschäftsmodellinnovationen oder veränderte Akteurskonstellationen – sowie ein fünfstufiges Verfahren zur Indikatorentwicklung. Die Katalysatoren sind entlang dreier Domänen (Wissenschaft/Technologie, Wirtschaft/Organisation, Kultur/Politik), dreier Qualitäten – Geschwindigkeit, Tiefe, Breite (Andersen et al., 2023; Termeer et al., 2017) – und dreier Transformationsphasen – Emergenz, Diffusion, Rekonfiguration (Victor et al., 2019) – organisiert.

Die Anwendbarkeit wird anhand einer Ex-post-Evaluierung eines thematischen FTI-Programms illustriert. Die analytische Perspektive verband missionsorientierte Innovationssystemfunktionen (Wesseling & Meijerhof, 2023) mit der mehrdimensionalen Konzeption von Transformation. Mittels TIME wurden Indikatoren abgeleitet, per Befragung erhoben und konfigurationsanalytisch ausgewertet.

Das TIME-Framework adressiert die unterbelichtete Qualität und Dynamik von Transformation in der FTI-Evaluierung. Als Bottom-up-Instrument ist es politikfeldübergreifend einsetzbar – in Energie, Gesundheit oder Digitalisierung – und auf Programme anwendbar, die nicht explizit als „transformativ" deklariert sind. Über die Indikatorentwicklung hinaus entfaltet es formativen Mehrwert: Es unterstützt die Reflexion impliziter Wirkungsannahmen und die Identifikation blinder Flecken in Programmlogiken.

Netzwerkarbeit ist in vielen Förderprogrammen präsent und damit oftmals ein Gegenstand von Evaluationen. Zugleich bleibt häufig unklar, was genau mit „Netzwerk“ gemeint ist und auf welcher Ebene Netzwerkarbeit bewertet werden soll. In der Praxis führt diese Unschärfe zu unterschiedlichen, teils widersprüchlichen Annahmen darüber, wer vernetzt wird, wodurch Wirkungen entstehen und woran erfolgreiche Netzwerkarbeit erkennbar ist.

Der Beitrag analysiert unterschiedliche Netzwerkverständnisse und deren Konsequenzen für Evaluationsdesigns anhand von Beispielen aus Evaluationsprojekten der IMAP GmbH in den Bereichen Demokratie‑ und Kulturförderung, Antidiskriminierung sowie Fachkräftesicherung. Ausgangspunkt ist eine konzeptionelle Differenzierung zentraler Komponenten von Netzwerken: Knoten (z. B. Personen, Organisationen, intermediäre Akteure), Kanten (z. B. Austausch‑, Kooperations‑, Steuerungs‑ oder Unterstützungsbeziehungen) und Flüssen (z. B. Informationen, fachliche Expertise, Handlungssicherheit, Legitimation). Dabei zeigt sich, dass Netzwerke formal häufig als Zusammenschlüsse von Organisationen konzipiert sind, faktisch jedoch durch Beziehungen einzelner Personen getragen werden. Ob und wie diese individuellen Vernetzungen in die jeweiligen Organisationen zurückwirken, ist eine empirische Frage und keine begriffliche Selbstverständlichkeit. Zugleich variieren Wirkungen auf individueller und organisationaler Ebene – eine Beurteilung von Netzwerkeffekten kann entsprechend unterschiedlich ausfallen, abhängig von der betrachteten Ebene.

Im Zentrum des Vortrags steht die Analyse, wie unterschiedliche Netzwerkverständnisse mit unterschiedlichen Bewertungsmaßstäben verbunden sind. Anhand von Wirkmodellen, Indikatorenkatalogen und empirischen Befunden zeigen wir, dass sich Netzwerkwirkungen je nach Netzwerkverständnis auf unterschiedlichen Ebenen beobachten lassen. Wir diskutieren die Zwecke von Vernetzung in verschiedenen Förderprogrammen, mögliche Qualitätsmerkmale von unterschiedlichen Netzwerken und stellen grundlegende Fragen bspw. nach der Interpretation von Doppelstrukturen – sind diese tendenziell ineffizient oder eher ein Zeichen intensiver Vernetzung? Mit dem Beitrag zeigen wir, dass eine präzise konzeptionelle Klärung des Netzwerkbegriffs keine rein theoretische Vorarbeit ist, sondern eine notwendige Voraussetzung für eine valide Analyse und Bewertung von Netzwerken als Evaluationsgegenstand.