Bedingt durch die Corona-Pandemie befindet sich unsere Gesellschaft seit mehr als einem Jahr in einem Ausnahmezustand. Es gibt de facto keinen Lebensbereich, der nicht von Pandemie bedingten Maßnahmen betroffen ist. Besonders einschneidend wirken sich diese Maßnahmen auf vulnerable Gruppen in unserer Gesellschaft aus, dazu zählen u.a. Menschen mit intellektueller Beeinträchtigung. Insbesondere für die Befindlichkeit dieser Menschen ist ein möglichst geregelter und kontinuierlicher Tagesablauf wichtig, er liefert Orientierung und gibt Stabilität. Einen bedeutsamen Beitrag dazu leisten die fähigkeitsorientierten Angebote der Lebenshilfe Oberösterreich. In 41 Werkstätten werden Menschen mit intellektueller Beeinträchtigung (Kund*innen) durch fähigkeitsorientierte Aktivitäten dabei unterstützt, möglichst selbstbestimmt den Alltag zu bewältigen. Diese für die Kund*innen so wichtige Tagesstruktur konnte während der Corona-Pandemie nur eingeschränkt angeboten werden.

Vor diesem Hintergrund stellte sich die Frage, welche Auswirkungen die Corona-Pandemie bedingten Maßnahmen auf die Befindlichkeit der Kund*innen der Lebenshilfe Oberösterreich haben. Dazu wurde eine Evaluationsstudie zu zwei Messzeitpunkten (MZP) durchgeführt (MZP1: 3. Quartal 2020; MZP2: 1. Quartal 2021). Zu beiden Messzeitpunkten wurden sowohl die Kund*innen als auch deren Angehörigen schriftlich befragt. Der Fragebogen für die Kund*innen war in einfacher Sprache formuliert, auch hatten die Kund*innen beim Ausfüllen Unterstützung durch das Betreuungspersonal oder durch ihre Angehörigen.

Im Kontext der Beurteilung von Maßnahmen sprechen Gollwitzer und Jäger (2014) von Output- oder Ergebnisevaluation. Hier geht man in der Regel von der Beurteilung eines Erfolgs aus. In dieser Evaluationsstudie ging es ebenfalls um die Beurteilung von Maßnahmen, jedoch mit anderen Vorzeichen: Es wurde das Ausmaß der Belastungen aufgrund von Pandemie bedingten Maßnahmen eruiert. Darüber hinaus wird im Vortrag jedoch auch herausgearbeitet, welchen Beitrag diese Evaluationsstudie zur Verbesserung der Lebens- und Arbeitssituation von Menschen mit intellektueller Beeinträchtigung während der Corona-Pandemie leistete. In diesem Zusammenhang werden auch die Herausforderungen, die sich bei der Umsetzung dieser Evaluationsstudie ergaben, diskutiert.

Klimawandel, soziale Ungleichheiten oder Krankheiten werden heute von der Politik als große gesellschaftliche Herausforderungen (grand societal challenges) definiert, die nicht durch einzelne Maßnahmen gelöst werden können, da sie sich aus einem Zusammenspiel aus ökonomischen, technischen, gesellschaftlichen und politischen Handlungen aus sehr verschiedenen Politikfeldern und Sektoren ergeben. Die Forschungs- und vor allem Innovationspolitik adressiert diese Debatte seit einigen Jahren mit dem Konzept der "Missionsorientierte Politik" (Wittmann et al. 2020; Wanzenböck et al. 2020; Larrue und Philipp 2021). Im Zentrum der Debatte um die Missionsorientierung steht die Überzeugung, dass es zur Erreichung der Missionen einen Wandel des gesamten sozio-technischen Systems braucht. Hier wird der Innovationspolitik eine zentrale Rolle zugesprochen, um Wandel zu einer nachhaltigen Produktions- und Konsumweise zu realisieren ("transformative innovation policy", Diercks et al. 2019).

Der Anspruch einen Wandel des Systems anzustoßen findet zunehmend Eingang in Förderprogrammen der FTI-Politik. Damit einhergehend stellen sich Fragen an die Evaluation dieser Programme mit "transformativem Anspruch" (Dinges et al. 2020). Was bedeutet es für die Evaluation, wenn die angestrebten Wirkungen weit über die am Programm Beteiligten und die Politikfeldgrenzen hinausgehen sollen? Wie kann man impacts in die unterschiedlichen gesellschaftlichen Dimensionen bewerten und messen? Wie qualifiziert man dabei den Beitrag von einzelnen geförderten Programmen? Und wie evaluiert man Wandlungsprozesse?

Der folgende Beitrag möchte die Herausforderungen an Evaluationen skizzieren, die durch die Veränderung der Ansprüche, Ziele sowie der Ausgestaltung von innovationspolitischen Interventionen entstehen, beispielsweise hinsichtlich der Einbindung von Stakeholdern in den Evaluationsprozess, der Rolle von kontinuierlichen Lernprozessen (statt ex-post Bewertungen) aber auch der Wirkungsmessung in komplexen und dynamischen Umgebungen. Die in der "transformative innovation theory" Literatur beschriebenen Herausforderungen (siehe z.B. 6 principles of Molas-Gallart et al. (2020) werden in diesem Vortrag herausgearbeitet. Anhand eines Beispiels einer Evaluation eines Programms mit transformativem Ansprung, der Evaluation des FONA-Rahmenprogramm (Bührer et al. 2020), werden Evaluationsansätze sowie künftigen Ansprüche an Evaluationen illustriert und diskutiert.

Evaluationen sind in zahlreichen Politikfeldern fester Bestandteil des politischen Prozesses. Sie stellen Akteuren in Politik und Verwaltung Wissen bereit, das auf der Basis wissenschaftlicher Standards gewonnen wurde, und das dazu beitragen soll, politische Entscheidungen evidenzbasiert zu treffen und umzusetzen. Dabei ist zumindest zwischen bis dato „gesichertem Wissen“ und „riskantem Wissen“ zu unterscheiden, wie die Diskurse zur Bewältigung der gegenwärtigen Pandemie lehren. Evaluierende stehen somit vor der Herausforderung, sowohl wissenschaftlich angemessen als auch der Politik gegenüber angemessen zu handeln. Zur wissenschaftlichen Angemessenheit gehören, Distanz zum Evaluationsgegenstand zu wahren, die Pluralität von disziplinären Perspektiven und Theorien zu reflektieren, Erkenntnisse aus empirischen Daten methodisch kontrolliert zu gewinnen sowie Limitationen transparent zu machen. Politische Angemessenheit bedeutet, anschlussfähig zu sein an gesellschaftliche Diskurse, an Wahrnehmungen, Wertvorstellungen und Positionen politischer Akteure sowie deren Handlungspielräume im Blick zu haben.

Damit Erkenntnisse aus Evaluationen Eingang in politische Entscheidungen finden, bedarf es einer Balance aus wissenschaftlicher und politischer Angemessenheit sowie einer Vermittlung zwischen beiden Sphären. Aber wie können Evaluierende die gebotene Distanz mit der notwendigen Nähe zu ihren Auftraggebern und den Adressatinnen und Adressaten ihrer Evaluationsergebnisse verbinden und so eine (gegenseitige) Verständigung herbeiführen? Als Antwort schlägt beispielsweise Roger A. Pielke die ehrliche Maklerin (honest broker) vor. Sie vermittelt zwischen dem politisch Gewünschtem und wissenschaftlich begründbaren Möglichkeiten, indem sie Akteuren in Politik und Verwaltung Handlungsalternativen darlegt, die auf wissenschaftlich gesichertem Wissen beruhen und gleichzeitig einen Spielraum für politische Entscheidungen auf der Basis von Interessen und Wertvorstellungen erlauben. In dieser Perspektive kann es Evaluierenden gelingen, gleichzeitig ihre fachliche Integrität zu wahren, ihre praktische Relevanz herauszustellen und Vertrauen in das Potenzial von Evaluation zu stärken. Die ehrliche Maklerin soll anhand ausgewählter Evaluationsfallstudien aus den Politikfeldern Arbeitsmarkt und Integration sowie mit Bezug zur Pandemiekrisenpolitik diskutiert werden.