Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
A6: Wandel der Evaluation – Kommunikation, Nutzung und Einfluss von Evaluation(-sergebnissen) im politischen und gesellschaftlichen Kontext
Zeit:
Donnerstag, 16.09.2021:
14:15 - 15:45

Leitung der Sitzung: Jessica Prigge, Universität Kassel

Gastgeber: AK Professionalisierung


Zusammenfassung der Sitzung

Übergreifende Problemstellung

In dieser Session werden die Herausforderungen thematisiert, die mit gesellschaftlichen Wandlungsprozessen und veränderten Ansprüchen an und in Evaluationen verbunden werden. Anhand der Felder der Sozialen Dienste, der FTI-Politik sowie der Politik und Verwaltung werden (kritische) Fragen danach gestellt, wie der Beitrag von Evaluationen im jeweiligen Bereich aktiv und (un-)abhängig gestaltet werden kann.

Kurze Zusammenfassung der Einzelbeiträge

Der Beitrag von Evaluation zur Bewältigung der Corona-Krise am Beispiel einer Befragung von Kund*innen der Lebenshilfe Oberösterreich

Prof. Dr. Petra Wagner & Daniela Kirchsteiger

Fakultät für Medizintechnik und Angewandte Sozialwissenschaften, FH Oberösterreich

Im Mittelpunkt dieses Beitrages stehen die Sichtweisen von Menschen mit intellektueller Beeinträchtigung, die in die 41 Werkstätten der Lebenshilfe Oberösterreich eingebunden sind. Auf Grundlage einer längsschnittlichen Fragebogenerhebung wird den Fragen nachgegangen, inwieweit die Kund*innen Maßnahmen zur Eindämmung der Corona-Pandemie als Belastung erleben und welchen Beitrag die Evaluationsstudie zur Verbesserung der Lebens- und Alltagssituationen leisten kann, um abschließend ausgewählte (methodische) Herausforderungen zu diskutieren.

Missionsorientierung und transformativer Anspruch in der Forschungs- und Innovationspolitik - Neue Herausforderung für Evaluationen

Sarah Seus & Dr. Susanne Bührer

Fraunhofer Institut für System- und Innovationsforschung ISI, Deutschland

In diesem Beitrag wird den Herausforderungen an Evaluationen nachgegangen, die durch die Veränderung der Ansprüche, Ziele sowie der Ausgestaltung von innovationspolitischen Interventionen entstehen. Mit dem Konzept einer „missionsorientierten Politik“ wird davon ausgegangen, dass zur Bearbeitung gesamtgesellschaftlicher Probleme Wandlungsprozesse in ganzen Systemen anzustoßen sind. Fragen und Herausforderungen, die sich damit für Evaluationsvorhaben ergeben, werden am Beispiel der Evaluation des FONA-Rahmenprogrammes analysiert und diskutiert.

Verständigung und Vermittlung in der Evaluation

Dr. Holger Bähr, Institut für Arbeitsmarkt- und Berufsforschung (IAB)

Prof. Dr. Dieter Filsinger, Hochschule für Technik und Wirtschaft des Saarlandes (htw saar)

 

Evaluationen sind in zahlreichen Politikfeldern fester Bestandteil. Damit Erkenntnisse aus Evaluationen Eingang in politische Entscheidungen finden können, steht jede*r Evaluator*in vor der Herausforderung, eine Balance zwischen wissenschaftlicher und politischer Angemessenheit zu finden. In diesem Beitrag wird dieses Spannungsfeld mit der Frage ausgelotet, wie eine Vermittlung gelingen kann. Aussichtsreich erscheint dafür die Figur der „ehrlichen Maklerin“ von Roger A. Pielke. Ihre Potentiale, zwischen dem politisch Gewünschtem und wissenschaftlich begründbaren Möglichkeiten zu vermitteln, werden anhand von ausgewählten Evaluationsfallstudien diskutiert.


Präsentationen

Der Beitrag von Evaluation zur Bewältigung der Corona-Krise am Beispiel einer Befragung von Kund*innen der Lebenshilfe Oberösterreich

Petra Wagner, Daniela Kirchsteiger

Fakultät für Medizintechnik und Angewandte Sozialwissenschaften, FH Oberösterreich

Bedingt durch die Corona-Pandemie befindet sich unsere Gesellschaft seit mehr als einem Jahr in einem Ausnahmezustand. Es gibt de facto keinen Lebensbereich, der nicht von Pandemie bedingten Maßnahmen betroffen ist. Besonders einschneidend wirken sich diese Maßnahmen auf vulnerable Gruppen in unserer Gesellschaft aus, dazu zählen u.a. Menschen mit intellektueller Beeinträchtigung. Insbesondere für die Befindlichkeit dieser Menschen ist ein möglichst geregelter und kontinuierlicher Tagesablauf wichtig, er liefert Orientierung und gibt Stabilität. Einen bedeutsamen Beitrag dazu leisten die fähigkeitsorientierten Angebote der Lebenshilfe Oberösterreich. In 41 Werkstätten werden Menschen mit intellektueller Beeinträchtigung (Kund*innen) durch fähigkeitsorientierte Aktivitäten dabei unterstützt, möglichst selbstbestimmt den Alltag zu bewältigen. Diese für die Kund*innen so wichtige Tagesstruktur konnte während der Corona-Pandemie nur eingeschränkt angeboten werden.

Vor diesem Hintergrund stellte sich die Frage, welche Auswirkungen die Corona-Pandemie bedingten Maßnahmen auf die Befindlichkeit der Kund*innen der Lebenshilfe Oberösterreich haben. Dazu wurde eine Evaluationsstudie zu zwei Messzeitpunkten (MZP) durchgeführt (MZP1: 3. Quartal 2020; MZP2: 1. Quartal 2021). Zu beiden Messzeitpunkten wurden sowohl die Kund*innen als auch deren Angehörigen schriftlich befragt. Der Fragebogen für die Kund*innen war in einfacher Sprache formuliert, auch hatten die Kund*innen beim Ausfüllen Unterstützung durch das Betreuungspersonal oder durch ihre Angehörigen.

Im Kontext der Beurteilung von Maßnahmen sprechen Gollwitzer und Jäger (2014) von Output- oder Ergebnisevaluation. Hier geht man in der Regel von der Beurteilung eines Erfolgs aus. In dieser Evaluationsstudie ging es ebenfalls um die Beurteilung von Maßnahmen, jedoch mit anderen Vorzeichen: Es wurde das Ausmaß der Belastungen aufgrund von Pandemie bedingten Maßnahmen eruiert. Darüber hinaus wird im Vortrag jedoch auch herausgearbeitet, welchen Beitrag diese Evaluationsstudie zur Verbesserung der Lebens- und Arbeitssituation von Menschen mit intellektueller Beeinträchtigung während der Corona-Pandemie leistete. In diesem Zusammenhang werden auch die Herausforderungen, die sich bei der Umsetzung dieser Evaluationsstudie ergaben, diskutiert.



Interventionen mit transformativem Anspruch - Neue Herausforderungen an Evaluationen im FTI-Bereich

Sarah Seus, Susanne Bührer

Fraunhofer Institut für System- und Innovationsforschung ISI, Deutschland

Klimawandel, soziale Ungleichheiten oder Krankheiten werden heute von der Politik als große gesellschaftliche Herausforderungen (grand societal challenges) definiert, die nicht durch einzelne Maßnahmen gelöst werden können, da sie sich aus einem Zusammenspiel aus ökonomischen, technischen, gesellschaftlichen und politischen Handlungen aus sehr verschiedenen Politikfeldern und Sektoren ergeben. Die Forschungs- und vor allem Innovationspolitik adressiert diese Debatte seit einigen Jahren mit dem Konzept der "Missionsorientierte Politik" (Wittmann et al. 2020; Wanzenböck et al. 2020; Larrue und Philipp 2021). Im Zentrum der Debatte um die Missionsorientierung steht die Überzeugung, dass es zur Erreichung der Missionen einen Wandel des gesamten sozio-technischen Systems braucht. Hier wird der Innovationspolitik eine zentrale Rolle zugesprochen, um Wandel zu einer nachhaltigen Produktions- und Konsumweise zu realisieren ("transformative innovation policy", Diercks et al. 2019).

Der Anspruch einen Wandel des Systems anzustoßen findet zunehmend Eingang in Förderprogrammen der FTI-Politik. Damit einhergehend stellen sich Fragen an die Evaluation dieser Programme mit "transformativem Anspruch" (Dinges et al. 2020). Was bedeutet es für die Evaluation, wenn die angestrebten Wirkungen weit über die am Programm Beteiligten und die Politikfeldgrenzen hinausgehen sollen? Wie kann man impacts in die unterschiedlichen gesellschaftlichen Dimensionen bewerten und messen? Wie qualifiziert man dabei den Beitrag von einzelnen geförderten Programmen? Und wie evaluiert man Wandlungsprozesse?

Der folgende Beitrag möchte die Herausforderungen an Evaluationen skizzieren, die durch die Veränderung der Ansprüche, Ziele sowie der Ausgestaltung von innovationspolitischen Interventionen entstehen, beispielsweise hinsichtlich der Einbindung von Stakeholdern in den Evaluationsprozess, der Rolle von kontinuierlichen Lernprozessen (statt ex-post Bewertungen) aber auch der Wirkungsmessung in komplexen und dynamischen Umgebungen. Die in der "transformative innovation theory" Literatur beschriebenen Herausforderungen (siehe z.B. 6 principles of Molas-Gallart et al. (2020) werden in diesem Vortrag herausgearbeitet. Anhand eines Beispiels einer Evaluation eines Programms mit transformativem Ansprung, der Evaluation des FONA-Rahmenprogramm (Bührer et al. 2020), werden Evaluationsansätze sowie künftigen Ansprüche an Evaluationen illustriert und diskutiert.



Verständigung und Vermittlung in der Evaluation

Holger Bähr1, Dieter Filsinger2

1Institut für Arbeitsmarkt- und Berufsforschung; 2Hochschule für Technik und Wirtschaft des Saarlandes

Evaluationen sind in zahlreichen Politikfeldern fester Bestandteil des politischen Prozesses. Sie stellen Akteuren in Politik und Verwaltung Wissen bereit, das auf der Basis wissenschaftlicher Standards gewonnen wurde, und das dazu beitragen soll, politische Entscheidungen evidenzbasiert zu treffen und umzusetzen. Dabei ist zumindest zwischen bis dato „gesichertem Wissen“ und „riskantem Wissen“ zu unterscheiden, wie die Diskurse zur Bewältigung der gegenwärtigen Pandemie lehren. Evaluierende stehen somit vor der Herausforderung, sowohl wissenschaftlich angemessen als auch der Politik gegenüber angemessen zu handeln. Zur wissenschaftlichen Angemessenheit gehören, Distanz zum Evaluationsgegenstand zu wahren, die Pluralität von disziplinären Perspektiven und Theorien zu reflektieren, Erkenntnisse aus empirischen Daten methodisch kontrolliert zu gewinnen sowie Limitationen transparent zu machen. Politische Angemessenheit bedeutet, anschlussfähig zu sein an gesellschaftliche Diskurse, an Wahrnehmungen, Wertvorstellungen und Positionen politischer Akteure sowie deren Handlungspielräume im Blick zu haben.

Damit Erkenntnisse aus Evaluationen Eingang in politische Entscheidungen finden, bedarf es einer Balance aus wissenschaftlicher und politischer Angemessenheit sowie einer Vermittlung zwischen beiden Sphären. Aber wie können Evaluierende die gebotene Distanz mit der notwendigen Nähe zu ihren Auftraggebern und den Adressatinnen und Adressaten ihrer Evaluationsergebnisse verbinden und so eine (gegenseitige) Verständigung herbeiführen? Als Antwort schlägt beispielsweise Roger A. Pielke die ehrliche Maklerin (honest broker) vor. Sie vermittelt zwischen dem politisch Gewünschtem und wissenschaftlich begründbaren Möglichkeiten, indem sie Akteuren in Politik und Verwaltung Handlungsalternativen darlegt, die auf wissenschaftlich gesichertem Wissen beruhen und gleichzeitig einen Spielraum für politische Entscheidungen auf der Basis von Interessen und Wertvorstellungen erlauben. In dieser Perspektive kann es Evaluierenden gelingen, gleichzeitig ihre fachliche Integrität zu wahren, ihre praktische Relevanz herauszustellen und Vertrauen in das Potenzial von Evaluation zu stärken. Die ehrliche Maklerin soll anhand ausgewählter Evaluationsfallstudien aus den Politikfeldern Arbeitsmarkt und Integration sowie mit Bezug zur Pandemiekrisenpolitik diskutiert werden.