FTI-Politik ist im Begriff sich zu wandeln: Sie wird zunehmend mit dem Anspruch formuliert und umgesetzt, Ziele und Vorgaben („Missionen“) zu erreichen, die sich an gesellschaftlichen Herausforderungen orientieren (Wittmann et al. 2020; Polt et al. 2021; Larrue 2021). Der neue Ansatz der FTI-Politik hat weitreichende Folgen für die Evaluation. Evaluationsdesigns müssen sich den veränderten Perspektiven und Prioritäten konzeptionell, methodisch und instrumentell anpassen (Fisher et al., 2018; Janssen et al., 2022). Dies geht über bisherige Ansätze von Begleitevaluationen hinaus.

Konzeptionell geht es darum, den Evaluationsgegenstand entsprechend zu erweitern und Systemgrenzen neu zu ziehen. Evaluationen müssen in Verbindung mit der Theorie of Change über ein theoretisches Gerüst verfügen, mit dem sie gesellschaftliche Transformationsprozesse in den Blick nehmen können. Lernprozesse zu Wirkmechanismen auf Ebene der ausgewählten inhaltlichen Schwerpunkte der Missionen sind zu ermöglichen, die das Programmlernen unterstützen, indem sie in einen Zyklus aus Planung, Umsetzung, Reflexion, Neujustierung eingebettet sind. Evaluationen müssen daher verstärkt inhaltlich auf die Governance, Synergien, Barrieren, Potenziale und Forschungsbedarfe eingehen. Methodisch wird es noch wichtiger, Stakeholder anderer Maßnahmen und aus anderen Politikfeldern systematischer in diese Lernprozesse einzubinden. Damit einher geht eine stärkere Verschränkung von Foresight und Hindsight, die sich auf die einzusetzenden Erhebungs- und Analyseinstrumente auswirkt. Offen ist, wie sich zudem die Rolle von Evaluation verändert, z.B. im Hinblick auf die Legitimationsfunktion.

Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Wärme- und Stromsektor für 2030 und 2045 unterstützen. Es richtet sich auf die Umsetzung der Energiewende und die Beschleunigung der Transformation. Der Vortrag stützt sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK, die als bereits transitionsorientierte Evaluation die Vorbereitung des 8. EFP unterstützt. Der Vortrag zeigt, wie im Evaluationsdesign auf die oben genannten Herausforderungen eines solchen Übergangs eingegangen wird.

Forschungsförderprogramme sind immer stärker auf gesellschaftliche Herausforderungen, eine nachhaltige Entwicklung und deren entsprechenden Wirkungen ausgerichtet. Damit einhergehend ist auch der Bedarf an geeigneten Evaluationsansätzen und -verfahren zur Abschätzung des gesellschaftlichen Beitrags von Forschung gestiegen. Aufgrund der Komplexität von Innovationssystemen (Datenverfügbarkeit, time-gap, attribution-gap) kann i.d.R. keine Wirkungsmessung, sondern bestenfalls eine Abschätzung der Wirkung oder der Wirkungspotenziale erfolgen.

Basierend auf vielfältigen Konzepten zur Entwicklung von Wirkungspotenzialen wurde im SynSICRIS Projekt ein Kriterien-Set und ein Monitoring-Tool entwickelt. Dieses soll eine Ex-post Evaluation von anwendungsorientierten Forschungsvorhaben v.a. im Agrar-, Umwelt- und Ernährungsbereich ermöglichen. Die daraus resultierenden Ergebnisse sollen auch für die Programmevaluierung genutzt werden können. Konzeptionelle Grundlage für die Entwicklung bilden u.a. Produktive Interaktionen, transdisziplinäre Forschung, Responsible Research and Innovation, Technikfolgenabschätzung, Wissens- und Technologietransfer, Open Science, Innovationssysteme und Nachhaltige Innovationen.

Die verschiedenen Konzepte wurden in das Kriterien-Set integriert, indem Gemeinsamkeiten zusammengeführt und Divergenzen komplementär kombiniert wurden (z.B. hinsichtlich Transferstrategien über Schutzrechte oder Open Access). So wird eine Vielzahl unterschiedlicher Forschungsmodi adäquat abgedeckt. Das literaturbasierte Kriterien-Set wurde mit Expert:innen mehrfach reflektiert und mit dem dafür erforderlichem Monitoring abgeglichen. Mit diesen iterativen Syntheseschritten wurde ein valides Kriterien-Set geschaffen, das aus rund 60 thematisch gegliederten Kriterien besteht. Die zu den Kriterien passgenau bereitgestellten Informationen aus dem Monitoring-Tool erlauben eine objektive Wirkungsabschätzung von Forschungsvorhaben durch externe Gutachter:innen.

Durch die wiederholte Ex-post Evaluation verschiedener Projekte wird das Kriterien-Set erprobt. Hierbei sollen die statistischen Kennwerte überprüft und die Ergebnisse Verbesserungen am Kriterien-Set (v.a. der Frageformulierung) genutzt werden. So soll auch die Reliabilität hinreichend gewährleistet werden.

In dem Beitrag wird das Kriterien-Set vorgestellt, die Entwicklung kritisch reflektiert und Ergebnisse aus der Erprobung präsentiert.

Im Kontext drängender gesellschaftlicher Herausforderungen besteht ein zunehmendes Interesse in der Forschungsförderung, das Wirkungspotenzial von Forschung zu fördern, zu steuern und Projekte und Programme entsprechend zu evaluieren.

Für diesen Bedarf wurde im SynSICRIS-Projekt ein Kriterien-Set und ein Monitoring-Tool entwickelt. Hierfür wurde auf etablierte Konzepte zur Entwicklung von Wirkungspotenzialen zurückgegriffen, u.a. Produktive Interaktionen, transdisziplinärer Forschung, Responsible Research and Innovation, Technikfolgenabschätzung, Wissens- und Technologietransfer, Open Science, Innovationssysteme und Nachhaltige Innovationen.

Für das Monitoring-Tool wurde das Open Source Forschungsinformationssystem DSpace-CRIS um Inhalte aus den oben genannten Konzepten erweitert und Funktionen entwickelt, die einen Einsatz im Rahmen der Forschungsförderung ermöglichen. Forschende werden von der Planung bis nach Projektende in ihrer Wirkungsorientierung unterstützt und erfassen hierzu strukturiert Informationen. Dadurch können zum Teil Anträge und Berichte in Textform ersetzt werden, während gleichzeitig vielfältige Informationen für Förderprozesse und die Evaluierung von Projekten und Programmen zur Verfügung stehen.

Der Funktionsumfang erlaubt es den Forschenden Einträge in einem Wirkungspfad (Impact Pathway), einem Arbeitsplan und einem Verwertungsplan individuell anzuordnen. Eine Versionierung ermöglicht es, zu bestimmten Berichtszeitpunkten eine „eingefrorene“ Version für den Fördermittelgeber freizuschalten. Das Tool bietet umfassende Such- und Filterfunktionen, die mit vorkonfigurierten Diagrammen verknüpft sind. Es besteht eine Exportfunktion in PDF-Dokumente (z.B. als Vorhabensbeschreibung) und in CSV-Format für weitergehende Auswertungen (z.B. über Excel). Mit diesem Funktionsumfang werden aufwandneutral Informationen zum Wirkungspotenzial erfasst, die vielfältig nutzbar, vergleichbar und aggregierbar sind.

Nach einer 5-jährigen partizipativen Entwicklungsphase, einschließlich Erprobung (in der Agrar-, Umwelt- und Ernährungsforschung) ist das Monitoring-Tool nun reif für eine Pilotphase. In dieser wird eine Zusammenarbeit mit Projektträgern, Evaluierungsdienstleistern und Forschungseinrichtungen angestrebt.

Im Beitrag werden Inhalte, Erfassung und Auswertungsmöglichkeiten im Monitoring-Tool dargestellt und mittels kleiner Demo-Videos veranschaulicht.