Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Datum: Donnerstag, 16.09.2021
9:00 - 10:00Treffen des Nachwuchsnetzwerks
10:15 - 11:45Treffen der Arbeitskreise
11:45 - 12:15Pause

Networking und neu hinzugekommenes Treffen:

Datenschutz in der Evaluation

12:15 - 13:45Tagungseröffnung und 1. Keynote

Tagungseröffnung und Begrüßung durch den Vorsitzenden der DeGEval

1. Keynote: Prof. Dr. Alnoor Ebrahim, Professor of Management at The Fletcher School, and the Tisch College of Civic Life, at Tufts University

14:15 - 15:45A1: Die Formulierung von Handlungsempfehlungen in FTI-Evaluationen. Typische Schwachstelle, lästige Pflicht oder Kernstück der Politikberatung?
Leitung der Sitzung: Dr. Sonja Kind, VDI/VDE-IT (iit)
Leitung der Sitzung: Dr. Leo Wangler, iit in der VDI/VDE Innovation + Technik GmbH
Leitung der Sitzung: Dr. Jan Wessels, VDI/VDE-IT
 

Die Formulierung von Handlungsempfehlungen in FTI-Evaluationen. Typische Schwachstelle, lästige Pflicht oder Kernstück der Politikberatung?

Christiane Kerlen1, Sonja Kind2, Karoline Rodriguez2, Leo Wangler2, Jan Wessels2

1Kerlen Evaluation Ltd, Vereinigtes Königreich; 2VDI/VDE Innovation + Technik GmbH

Im Politikzyklus nehmen Handlungsempfehlungen von Evaluationen eine wichtige Funktion ein, weil sie Einfluss auf den Fortbestand und die Art der zukünftigen Umsetzung von Programmen nehmen und damit auch haushaltsrelevant sind. Vor dem Hintergrund knapper werdender Haushaltsmittel nach der Corona-Pandemie ist davon auszugehen, dass Handlungsempfehlungen eine wichtigere Rolle zukommen wird. Im Prozess der Ableitung von Handlungsempfehlungen werden in der Regel verschiedene Stakeholdergruppen, insbesondere die Programmeigner oder Steuerungsgremien einbezogen. Dies soll dazu dienen, dass praxisrelevante Handlungsempfehlungen erstellt werden, die später insbesondere von diesen Akteuren auch umgesetzt werden können.

Soweit die Theorie - in der Praxis zeigt sich jedoch, dass Handlungsempfehlungen je nach Evaluationsvorhaben einen unterschiedlichen Stellenwert bei den Auftraggebenden einnehmen. Mitunter scheinen Handlungsempfehlungen kaum von Bedeutung zu sein, insbesondere, wenn im Rahmen von Erfolgskontrollen nach BHO eher die Messung von Zielerreichung, Wirksamkeit und Wirtschaftlichkeit, also die Legitimation einer Maßnahme im Vordergrund steht. her selten sind konkrete Aussagen zur Sinnhaftigkeit der Fortführung eines Programms gewünscht. Bei begleitenden Evaluationen hingegen scheinen Feedbacks zur Reflexion sowie Handlungsempfehlungen zur Verbesserung des Vorhabens stärker gefragt. Bei Ex-ante Evaluationen kommt dieser Aspekt noch deutlicher zum Tragen, weil hier Empfehlungen für die zukünftige Programmgestaltung konkret eingefordert werden.

In der Session wird darauf eingegangen, wie es gelingen kann, im Verlauf einer Evaluation zu praxisrelevanten Handlungsempfehlungen zu kommen und gefragt, welche Bedeutung Handlungsempfehlungen tatsächlich zukommt. Dies steht im Kontext des Tagungsthemas „Wandel durch Evaluation – Evaluation im Wandel“ und der Frage, wie Empfehlungen formuliert sein müssen, damit sie von den Auftraggebenden wahrgenommen und ggf. in eine Agenda aufgenommen werden.

Nach einem Impulsvortrag zur Einführung in das Thema durch die Einreichenden (15 Minuten) wird in einer Podiumsdiskussion mit verschiedenen Stakeholdergruppen (Auftraggebende, Projektträger, Evaluierende) diskutiert.

Podium

  • Dorothea Giesen-Thole, GIZ, Stabsstelle Evaluierung (zugesagt)
  • Benedikt Mack, BMBF, Referat 111 (angefragt)
  • Dr. Friederike Weritz, BMWi, Referat ZB7 (zugesagt)
  • Katja Reppel, EU KOM, Auftraggebende
  • Vertreter:in Projektträger
  • Christiane Kerlen, Evaluierende
  • weitere Evaluierende (angefragt)
 
14:15 - 15:45A2: Evaluation von komplexen und langsam ablaufenden Prozessen im Umweltbereich am Beispiel von Naturschutz, Klimaschutz und Landwirtschaft
Leitung der Sitzung: Dominik Jessing, ifeu - Institut für Energie- und Umweltforschung Heidelberg

Session des AK Umwelt

 

Evaluation von komplexen und langsam ablaufenden Prozessen im Umweltbereich am Beispiel von Naturschutz, Klimaschutz und Landwirtschaft

Reinhard Zweidler1, Christelle Nowack2, Dominik Jessing3

1EBP Schweiz AG, Zürich; 2DLR Projektträger, Bonn; 3ifeu-Institut, Heidelberg

Evaluation von komplexen und langsam ablaufenden Prozessen im Umweltbereich am Beispiel von Biodiversität, Klimaschutz und Landwirtschaft

Dr. Christelle Nowack, Dominik Jessing, Dr. Sebastian Elbe; Reinhard Zweidler

In der Umweltevaluation haben wir es oft mit sehr komplexen und langsam ablaufenden Prozessen zu tun, die für die Beurteilung unserer Evaluationsgegenstände zentral sind. Solcher Wandel kann durch Menschen kaum oder nicht unmittelbar wahrgenommen werden, etwa Klimawandel, Veränderung der Lebensräume und Artengemeinschaften oder der Bestandssituation von Arten. Diese Veränderungen sind regelmäßig nicht monokausal und werden auch durch externe Faktoren beeinflusst, etwa die Wirtschaftsentwicklung, den technologischen Fortschritt oder Flächenkonkurrenz.

Hinzu kommt, dass sich die Bedürfnisse und Perspektiven von Auftraggebenden, Beteiligten und Betroffenen sowie Auftragnehmenden von Evaluationsprojekten unterscheiden. Gleiches gilt für die verschiedenen Entscheidungsebenen, etwa bezüglich internationalen und nationalen Zielen und Programmen einerseits und lokalen Umsetzungen andererseits.

Oft wird verlangt, nicht nur Leistungen, sondern auch Wirkungen zu evaluieren. Dies ist im Umweltbereich bei langsam ablaufenden Prozessen mit zahlreichen Wechselwirkungen und Einflussfaktoren besonders anspruchsvoll.

Wir betrachten die drei Themenbereiche Naturschutz, Klimaschutz und Landwirtschaft. Drei Impuls-Referaten geben einen Eindruck über Praxis und Ressourcenausstattung. Sie zeigen, wie mit der Komplexität umgegangen wird und wie Ergebnisse zusammengefasst und kommuniziert werden können. In der folgenden Gruppenarbeit soll themenübergreifend diskutiert werden, welche praktischen Schlussfolgerungen sich für die Umweltevaluation ergeben..

Workshop mit drei Inputreferaten von je 5 bis 10 Minuten, Gruppenarbeit und anschliessend moderierte Diskussion

1. Beispiel Naturschutz
Dr. Christelle Nowack; DLR Projektträger, Bonn

Indikatorik bei der Evaluation im Bereich Naturschutz

2. Beispiel Klimaschutz
Dominik Jessing, ifeu-Institut, Heidelberg

Evaluation von Treibhausgasminderungen von der EU-Ebene bis hin zum lokalen Projekt

3. Beispiel Landwirtschaft
Dr. Sebastian Elbe
, SPRINT – wissenschaftliche Politikberatung PartG, Darmstadt
Evaluierung im EU-Mehrebenensystem: Komplexität und Herausforderungen der Evaluierung der Gemeinsamen Agrarpolitik

 
14:15 - 15:45A3: Herausforderungen für Wandel – Hemmnisse für die Professionalisierung und Weiterentwicklung von Evaluation in verschiedenen Feldern
Leitung der Sitzung: Patricia Berndt
Leitung der Sitzung: Tülin Engin-Stock, uzbonn - Gesellschaft für empirische Sozialforschung und Evaluation
Leitung der Sitzung: Thomas Heskia, Leuphana Universität Lüneburg
Leitung der Sitzung: Moritz Maikämper, AK Stadt- und Regionalentwicklung

Gemeinsame Session der AKs Kultur und Kulturpolitik & Stadt- und Regionalentwicklung

 

Herausforderungen für Wandel – Hemmnisse für die Professionalisierung und Weiterentwicklung von Evaluation in verschiedenen Feldern

Patricia Berndt1, Tülin Engin-Stock2,3, Moritz Maikämper1,4, Thomas Heskia2,5

1AK Stadt- und Regionalentwicklung, Deutschland; 2AK Kultur und Kulturpolitik; 3UZ Bonn; 4ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft; 5Leuphana Universität Lüneburg

Anforderungen an und Methoden für die Durchführung von Evaluationen wandeln sich. Einige Anwendungsfelder wie die Entwicklungspolitik, Hochschullehre oder Forschungs-, Technologie- und Innovationspolitik weisent dabei bereits eine hohe Professionalisierung auf. Zugleich gibt es Anwendungsfelder, in denen Evaluation traditionell sowohl gesellschaftlich als auch politisch einen vergleichsweise geringen Stellenwert besitzt. Dazu gehören unter anderem die Stadtentwicklung und Kultur. Für diese Anwendungsfelder bestehen besondere Herausforderungen:

  • Evaluationen werden überwiegend sporadisch und als Nebentätigkeit durchgeführt; es gibt kaum Personen, die sich hauptberuflich mit Evaluationen befassen.
  • Der Vernetzungsgrad in der DeGEval und anderen Fachgesellschaften ist entsprechend gering.
  • Eine personelle und institutionelle Kontinuität in der grundlegenden Befassung mit Evaluation erfolgt allenfalls zufällig oder aus persönlichem Interesse.
  • Es mangelt an Akteuren – Institutionen und Personen –, die projektübergreifend fachbezogene Evaluationsstandards und -methoden (weiter)entwickeln – und entsprechenden Ressourcen. Entsprechend begrenzt sind das evaluatorische Selbstverständnis und auch die Möglichkeiten zum Lernen aus Evaluationen.
  • Evaluationen werden oft von politischen Erwartungshaltungen begleitet, die eine massive Einschränkung der Unabhängigkeit bedeuten können. Methodisch saubere Evaluationen haben dadurch eine geringere Chance auf Beauftragung, Publikation und Berücksichtigung ihrer Ergebnisse.
  • Hinzu kommen schwer erfassbare Wirkungen in einer komplexen Umwelt.

Diese und weitere Herausforderungen, um mit dem Wandel der Evaluation umzugehen, werden in der Session erörtert. Ziel ist die gemeinsame Suche nach Ansätzen, um eine Professionalisierung in Feldern mit gering ausgebauter Evaluationskultur zu befördern. Ausgangspunkt für die Diskussion sind die festgestellten Gemeinsamkeiten.

Geplant ist ein reines feldübergreifendes Austausch- und Diskussionsformat. Vorträge und Referent*innen sind entsprechend nicht vorgesehen. Die Diskussion erfolgt moderiert, je nach Zuspruch von Interessierten zeitweise in Kleingruppen.

 
14:15 - 15:45A4: Wandel bei der internen und externen Evaluation von Schulen
Leitung der Sitzung: Dr. Susanne Frühauf, Hessische Lehrkräfteakademie
Leitung der Sitzung: Ute Schoppmann

Gastgeber: AK Schulen

 

Ein niederschwelliges Verfahren zur Identifikation von Evaluationsdesiderata und zum Einstieg in die interne Evaluation

Erich Svecnik, Angelika Petrovic

IQS - Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen, Österreich

Wesentliche Voraussetzung für den Erfolg von (interner) Evaluation sind eine klare Definition des Evaluationsgegenstands und der Fragestellungen (DeGEval, 2016; Stockmann & Meyer, 2014; Widmer,2000). In der Neugestaltung des österreichischen Qualitätsmanagementsystems für Schulen wird datenbasierter und evidenzorientierter Schulentwicklung große Bedeutung zugemessen. Die dafür hauptverantwortlichen Schulleitungen sind allerdings keine Evaluationexpert/inn/en (Brauckmann & Böse, 2018; Wurster et al., 2016). Dies bildete den Ausgangspunkt für die Entwicklung eines niederschwelligen zweiphasigen Verfahrens (siQe, schulinterne Qualitätseinschätzung) zur Unterstützung der Schulleitungen bei der Identifikation breit akzeptierter, diskutierter und reflektierter Desiderata für die interne Evaluation.

Als erste Phase erfolgt die individuelle Qualitätseinschätzung mit Hilfe eines Online-Tools strukturiert entlang der in fünf Qualitätsdimensionen gruppierten 14 Qualitätsbereiche des österreichischen Qualitätsrahmens für Schulen, wobei jeder Qualitätsbereich mit einer einzelnen, globalen Frage einzustufen ist. Als Zwischenergebnis des Verfahrens erhält die Schulleitung eine automatisch generierte grafische Auswertung der individuellen Einschätzungen ihres Lehrerteams - eine Balkengrafik pro Qualitätsbereich. Schulische Leistungsdaten fließen nicht direkt ein, wohl aber über die Einschätzung der Lehrpersonen (Qualitätsbereich 5.1 bezieht sich auf „Erworbene Kompetenzen“).

Die Ergebnisse der individuellen Einschätzungen sind der Ausgangspunkt für die zweite siQe-Phase, einer Lehrerkonferenz, in deren Rahmen vom gesamten Lehrerteam über die vorliegenden Qualitätseinschätzungen diskutiert und reflektiert wird. Der Aufbau dieser siQe-Konferenz wird durch vorgegebene Leitfragen so strukturiert, dass die Diskussion von einem allgemeinen Überblick über die Ergebnisse der individuellen Einschätzungen hin zu vertiefender Betrachtung einzelner Qualitätsbereiche und am Ende weiter zu konkreten Fragestellungen für die interne Schulevaluation geleitet wird.

Das Ergebnis von siQe ist eine strukturierte und diskursiv reflektierte Einschätzung von Stärken und Schwächen des Schulstandortes, die in die interne Schulevaluation überleitet. Die Schulleitung kann auf Basis der siQe-Ergebnisse Fragestellungen spezifizieren und damit auch den Evaluationsgegenstand für ein internes Evaluationsprojekt definieren. Somit ist siQe als Verfahren zu sehen, das interner Schulevaluation vorgelagert ist.



Theoriegestützte Evaluation von Schulentwicklungsprojekten am Beispiel von evalGruKo

Matteo Carmignola1, Franz Hofmann1, Daniela Janko2, Clemens Reindl2

1Universität Salzburg, Österreich; 2FH Campus Wien, Österreich

Die Begleitevaluation für das Schulentwicklungsprojekt „Grundkompetenzen absichern“ (Sobanski, 2019) wird seit Herbst 2018 als formative Evaluation einer nationalen Schulentwicklungsinitiative durchgeführt mit dem Ziel, die Prozesse, die durch dieses Projekt in den Bundesländern initiiert wurden, zu dokumentieren und bundesweit den Grad der Umsetzung zu beschreiben.

In diesem Beitrag soll das Design des Evaluationsprojektes dargestellt und reflektiert werden, das eine Verbindung von formativen large-scale Erhebungen zu zwei Messzeitpunkten mit retrospektiven Fokusinterviews mit Akteur*innen aus den Projektschulen vorsieht. In der Präsentation werden insbesondere das kontrastierende Auswahlverfahren und die Konzeption der Fokusinterviews, die datengestützt mit Ergebnissen aus zwei Messzeitpunkten zur integrativen Verbindung beider Evaluationsansätze erfolgten, beschrieben. Dabei soll auch beleuchtet werden, wie der geforderten Anonymitätswahrung beteiligter Institutionen und Personengruppen auf methodischer und organisatorischer Ebene begegnet wird. In einem zweiten Schritt sollen ausgewählte Strategien zur Operationalisierung von zentralen Konstrukten besprochen werden, mit denen eine theoriegestützte Evaluation (vgl. Coryn et al., 2011) zur Implementation von Schulentwicklungsvorhaben intendiert wird. Im Sinne einer formativen Evaluation zur Projektimplementation (Petermann, 2014) werden dabei insbesondere die Dimensionen der Akzeptanz und der Grad der Umsetzung des Projektes sowie auch teils wirkungsorientierte Aspekte wie die Durchdringung und die Nachhaltigkeit der Maßnahme an den Schulen angesprochen.

Neben einer Offenlegung der methodischen Grundüberlegungen und Intentionen des Evaluationsprojektes werden die Anbindung an den Evaluationsauftrag und der Ertrag auf Grundlage der Ergebnisse der ersten zwei Projektkohorten (Rücklauf von etwa 180 Projektschulen, 160 Schulleitungen und 2.000 Lehrpersonen) illustriert.

_____

Coryn, C. L. S., Noakes, L. A., Westine, C. D., & Schröter, D. C. (2011). A systematic review of theory-driven evaluation practice from 1990 to 2009. American Journal of Evaluation, 32(2), 199–226.

Petermann, F. (2014). Implementationsforschung: Grundbegriffe und Konzepte. Psychologische Rundschau, 65(3), 122–128.

Sobanski, F. (2019). Warum »Grundkompetenzen absichern«? Hintergründe und Intentionen von GruKo. Schulverwaltung, 7(6), 162–165.



Das kann doch (nicht) jeder! Fort- und Weiterbildung zur internen Evaluation in Schulen

Dirk Groß, Brandenburger Philipp, Miethner Johannes

Pädagogisches Landesinstitut Rheinland-Pfalz, Deutschland

Der Beitrag geht auf folgende im Call for Proposal formulierte Frage am Beispiel interner Evaluationen im Arbeitsfeld Schule ein: "Wie haben sich in den vergangenen Jahren die Qualitätsanforderungen an Evaluationen und damit auch die Qualifikationsprofile der Evaluierenden geändert?

Die Bedeutung des Themas „Interne Evaluation in Schulen“ wird aktuell insbesondere durch die Meta-Studie von John Hattie (vgl. Hattie 2015) herausgestellt. Demnach stellt die „Formative Evaluation des Unterrichts“ einen gut wirkenden Faktor im Hinblick auf die Lernleistungen von Schülerinnen und Schülern dar (Hattie/Zierer/Beywl, 2018). Demgegenüber stehen jedoch empirische Befunde, die auf eine geringe Akzeptanz und Nachhaltigkeit von internen Schulevaluationen verweisen (vgl. Beywl/Balzer, 2016, S. 192).

Im geplanten Beitrag wird thematisiert, wie im Bereich der Lehrerfort- und Weiterbildung zum Auf- und Ausbau von "Evaluationsvermögen und Evaluationskultur" (Beywl/Balzer, 2016, S. 193) in Schulen beigetragen werden kann. In Anlehnung an organisationstheoretische Überlegungen (Stockmann 2018) werden zunächst die Zielgruppen herausgearbeitet, die innerhalb und im Umfeld von Schulen für Qualifizierungsmaßnahmen zur Thematik von Interesse sind. Anschließend werden Kompetenzen herausgearbeitet, die für interne Schulevaluationen verschiedener Reichweiten benötigt werden. Diese Kompetenzen werden systematisch aus den "Empfehlungen für Aus- und Weiterbildung in der Evaluation" (DeGEval 2008) abgeleitet und für das Feld der internen Schulevaluation konkretisiert. Abschließend wird auf Fortbildungsformate und didaktische Settings eingegangen, die sind geeignet, um den Aus- und Aufbau von Kompetenzen zur internen Evaluation in Schulen zu unterstützen. In diesem Zusammenhang werden auch erste Umsetzungsbeispiele des Pädagogischen Landesinstituts Rheinland-Pfalz-Pfalz vorgestellt.

 
14:15 - 15:45A5: Wandel im Gesundheitswesen durch Evaluation
Leitung der Sitzung: Dr. Mary Lindner, Dr. Mary Lindner - VerhältnisPerspektive

Gastgeber: AK Gesundheitswesen

 

Mobile geriatrische Remobilisation - Ein Bestandteil der abgestuften geriatrischen Versorgung

Gernot Fassolder, Maria Plank, Melanie Wallner, Wolfgang Habacher

EPIG GmbH, Österreich

Hintergrund: Die Krankenhaushäufigkeit steigt mit Zunahme an chronischen Erkrankungen. Hospitalisierte ältere Personen mit „Frailty Syndrom“ weisen ein höheres Risiko für negative gesundheitliche Folgen auf. Für die medizinische Versorgung dieser Bevölkerungsgruppe bedarf es spezieller fachlicher Zugänge sowie diagnostischer und therapeutischer Ansätze.

Ziel: Es wurde untersucht, ob die mobile geriatrische Remobilisation vergleichbare oder bessere ökonomische wie medizinische Effekte erzielt, als die stationäre Versorgung.

Methode: Das Projekt wurde prospektiv im Kontrollgruppendesign unter Anwendung quantitativer wie qualitativer Methoden evaluiert. Mittels exact-Matching wurde die statistische Vergleichbarkeit der Interventions- (n=71) und Kontrollgruppe (KG) (n=71) zu Therapiebeginn kontrolliert. Für beide Gruppen wurde die Entwicklung medizinischer Parameter (u.a. Barthel-Index, Tinetti, Esslinger Transferskala), die Wohn- und Betreuungssituation sowie die Inanspruchnahme von Gesundheitsleistungen (u.a. Auswirkung auf die (Re-)Hospitalisierungsrate, Zahl der spitalsambulanten Kontakte, Anzahl Krankentransporte) zu Betreuungsbeginn, zu Betreuungsende und nach 6 Monaten beobachtet. Die Daten des intra- und extramuralen Versorgungsbereich wurden sektorenübergreifend verknüpft (Patientenpfade). Die Veränderungen und Gruppenunterschiede wurden mit geeigneten statistischen Signifikanztests (Chi-Quadrat-Test, Wilcoxon-Test) analysiert. Mit 10 Personen der Interventionsgruppe wurden leitfadengestützte Interviews durchgeführt, welche mit qualitativ zusammenfassender Inhaltsanalyse einzeln, sowie in einem weiteren Schritt zusammenfassend anhand deduktiver Kategorien ausgewertet wurden. Zur Ergänzung und Erhebung der Sichtweisen und Erfahrungen der Mitglieder des Remobilisationsteams wurde eine Fokusgruppe durchgeführt.

Ergebnisse: Hinsichtlich der medizinischen Effekte erzielten beide Versorgungsformen kurzfristig, sowie nach 6 Monaten gleichwertige Ergebnisse. Die interviewten Personen waren sehr zufrieden. Das mobile Angebot zeigte einen deutlichen Kostenvorteil (Ø -50 %).

Conclusio: Das gewählte Evaluationsdesign konnte insbesondere die nachhaltige Wirkung dieser Versorgungsstruktur auf die Zielgruppe wie auf das Gesundheitssystem klar belegen. Es ist die Empfehlung die mobile Remobilisation als fixen Bestandteil in die abgestufte geriatrische Versorgung aufzunehmen und flächendeckend auszurollen, um so den Wandel Richtung ambulant vor stationär zu unterstützen.



Wandel durch Evaluation: Voraussetzungen, Herausforderungen und Lösungsansätze einer evolutiven Evaluation am Beispiel eines regionalen Gesundheitsförderungsprogramms.

Ludwig Grillich

Donau-Universität Krems, Österreich

Regionale gesundheitsförderliche Programme sind komplex. Sie bestehen aus mehreren Aktivitäten, die untereinander und mit den vorhandenen Bedingungen des Programms (Kontext, Incomes, Inputs, Struktur) interagieren. Dies bewirkt das Entstehen neuer Programmmerkmale, die zu Beginn der Programmumsetzung nicht vorhanden und auch nicht vorhersehbar waren (Emergenz). Um der damit verbundenen Veränderungsdynamik Rechnung zu tragen, empfiehlt Patton (2010) zur Entwicklung solcher komplexen Programme den Ansatz der "Developmental Evaluation" (DE).

Das Programm »Regionale Gesundheitskoordination« (RGK) - finanziert durch den Niederösterreichischen Gesundheits- und Sozialfonds- wurde in einer Forschungs-Praxiskooperation zwischen »Tut gut!« Gesundheitsvorsorge GmbH und der Donau-Universität Krems seit 2016 entwickelt. Das Programm adressiert sowohl die individuelle Verhaltensebene als auch die Verhältnisse in den Gemeinden. Der praxisorientierte, viersemestrige und berufsbegleitende Universitätslehrgang für »Regionale Gesundheitskoordination (AE)«, zielt auf den Aufbau von Wissen und Fähigkeiten einzelner Gemeindebürger/innen zur Umsetzung professioneller Gesundheitsförderungs- und Präventionsinitiativen in Gemeinden und Regionen ab (Verhalten). Auf der Gemeindeebene zielen Maßnahmen darauf ab, unterstützende Rahmenbedingungen für eine erfolgreiche, gemeindenahe Gesundheitsförderung (Community Readiness) in den Gemeinden zu etablieren.

Im Rahmen einer DE wurde das Programmkonzept 2016 entwickelt. Das Programm wurde, während der pilothaften Umsetzung 2017 bis 2020 begleitend evaluiert und 2020 überarbeitet. Die Präsentation stellt die Herausforderungen die sich dabei ergaben dar und berichtet über notwendige Voraussetzungen (Evaluation ist integraler Bestandteil des Programms) und Lösungsansätze, die sich dabei für die Gestaltung von DE komplexer gesundheitsförderlicher Programme ergeben. Zentrale Herausforderung war, dass während der Umsetzung des Piloten neue programmrelevante Fragestellungen entstanden und neue relevante Informationsquellen identifiziert wurden. Damit die Evaluation zum Lernen beitragen und Veränderung im Programm bewirken konnte, musste sie auf beides responsiv reagieren. Diese flexible Vorgehensweise steht jedoch im Widerspruch zu fixen “deliverables” und einem vorher festgelegten Zeit- und Kostenbudget.

 
14:15 - 15:45A6: Wandel der Evaluation – Kommunikation, Nutzung und Einfluss von Evaluation(-sergebnissen) im politischen und gesellschaftlichen Kontext
Leitung der Sitzung: Jessica Prigge, Universität Kassel

Gastgeber: AK Professionalisierung

 

Der Beitrag von Evaluation zur Bewältigung der Corona-Krise am Beispiel einer Befragung von Kund*innen der Lebenshilfe Oberösterreich

Petra Wagner, Daniela Kirchsteiger

Fakultät für Medizintechnik und Angewandte Sozialwissenschaften, FH Oberösterreich

Bedingt durch die Corona-Pandemie befindet sich unsere Gesellschaft seit mehr als einem Jahr in einem Ausnahmezustand. Es gibt de facto keinen Lebensbereich, der nicht von Pandemie bedingten Maßnahmen betroffen ist. Besonders einschneidend wirken sich diese Maßnahmen auf vulnerable Gruppen in unserer Gesellschaft aus, dazu zählen u.a. Menschen mit intellektueller Beeinträchtigung. Insbesondere für die Befindlichkeit dieser Menschen ist ein möglichst geregelter und kontinuierlicher Tagesablauf wichtig, er liefert Orientierung und gibt Stabilität. Einen bedeutsamen Beitrag dazu leisten die fähigkeitsorientierten Angebote der Lebenshilfe Oberösterreich. In 41 Werkstätten werden Menschen mit intellektueller Beeinträchtigung (Kund*innen) durch fähigkeitsorientierte Aktivitäten dabei unterstützt, möglichst selbstbestimmt den Alltag zu bewältigen. Diese für die Kund*innen so wichtige Tagesstruktur konnte während der Corona-Pandemie nur eingeschränkt angeboten werden.

Vor diesem Hintergrund stellte sich die Frage, welche Auswirkungen die Corona-Pandemie bedingten Maßnahmen auf die Befindlichkeit der Kund*innen der Lebenshilfe Oberösterreich haben. Dazu wurde eine Evaluationsstudie zu zwei Messzeitpunkten (MZP) durchgeführt (MZP1: 3. Quartal 2020; MZP2: 1. Quartal 2021). Zu beiden Messzeitpunkten wurden sowohl die Kund*innen als auch deren Angehörigen schriftlich befragt. Der Fragebogen für die Kund*innen war in einfacher Sprache formuliert, auch hatten die Kund*innen beim Ausfüllen Unterstützung durch das Betreuungspersonal oder durch ihre Angehörigen.

Im Kontext der Beurteilung von Maßnahmen sprechen Gollwitzer und Jäger (2014) von Output- oder Ergebnisevaluation. Hier geht man in der Regel von der Beurteilung eines Erfolgs aus. In dieser Evaluationsstudie ging es ebenfalls um die Beurteilung von Maßnahmen, jedoch mit anderen Vorzeichen: Es wurde das Ausmaß der Belastungen aufgrund von Pandemie bedingten Maßnahmen eruiert. Darüber hinaus wird im Vortrag jedoch auch herausgearbeitet, welchen Beitrag diese Evaluationsstudie zur Verbesserung der Lebens- und Arbeitssituation von Menschen mit intellektueller Beeinträchtigung während der Corona-Pandemie leistete. In diesem Zusammenhang werden auch die Herausforderungen, die sich bei der Umsetzung dieser Evaluationsstudie ergaben, diskutiert.



Interventionen mit transformativem Anspruch - Neue Herausforderungen an Evaluationen im FTI-Bereich

Sarah Seus, Susanne Bührer

Fraunhofer Institut für System- und Innovationsforschung ISI, Deutschland

Klimawandel, soziale Ungleichheiten oder Krankheiten werden heute von der Politik als große gesellschaftliche Herausforderungen (grand societal challenges) definiert, die nicht durch einzelne Maßnahmen gelöst werden können, da sie sich aus einem Zusammenspiel aus ökonomischen, technischen, gesellschaftlichen und politischen Handlungen aus sehr verschiedenen Politikfeldern und Sektoren ergeben. Die Forschungs- und vor allem Innovationspolitik adressiert diese Debatte seit einigen Jahren mit dem Konzept der "Missionsorientierte Politik" (Wittmann et al. 2020; Wanzenböck et al. 2020; Larrue und Philipp 2021). Im Zentrum der Debatte um die Missionsorientierung steht die Überzeugung, dass es zur Erreichung der Missionen einen Wandel des gesamten sozio-technischen Systems braucht. Hier wird der Innovationspolitik eine zentrale Rolle zugesprochen, um Wandel zu einer nachhaltigen Produktions- und Konsumweise zu realisieren ("transformative innovation policy", Diercks et al. 2019).

Der Anspruch einen Wandel des Systems anzustoßen findet zunehmend Eingang in Förderprogrammen der FTI-Politik. Damit einhergehend stellen sich Fragen an die Evaluation dieser Programme mit "transformativem Anspruch" (Dinges et al. 2020). Was bedeutet es für die Evaluation, wenn die angestrebten Wirkungen weit über die am Programm Beteiligten und die Politikfeldgrenzen hinausgehen sollen? Wie kann man impacts in die unterschiedlichen gesellschaftlichen Dimensionen bewerten und messen? Wie qualifiziert man dabei den Beitrag von einzelnen geförderten Programmen? Und wie evaluiert man Wandlungsprozesse?

Der folgende Beitrag möchte die Herausforderungen an Evaluationen skizzieren, die durch die Veränderung der Ansprüche, Ziele sowie der Ausgestaltung von innovationspolitischen Interventionen entstehen, beispielsweise hinsichtlich der Einbindung von Stakeholdern in den Evaluationsprozess, der Rolle von kontinuierlichen Lernprozessen (statt ex-post Bewertungen) aber auch der Wirkungsmessung in komplexen und dynamischen Umgebungen. Die in der "transformative innovation theory" Literatur beschriebenen Herausforderungen (siehe z.B. 6 principles of Molas-Gallart et al. (2020) werden in diesem Vortrag herausgearbeitet. Anhand eines Beispiels einer Evaluation eines Programms mit transformativem Ansprung, der Evaluation des FONA-Rahmenprogramm (Bührer et al. 2020), werden Evaluationsansätze sowie künftigen Ansprüche an Evaluationen illustriert und diskutiert.



Verständigung und Vermittlung in der Evaluation

Holger Bähr1, Dieter Filsinger2

1Institut für Arbeitsmarkt- und Berufsforschung; 2Hochschule für Technik und Wirtschaft des Saarlandes

Evaluationen sind in zahlreichen Politikfeldern fester Bestandteil des politischen Prozesses. Sie stellen Akteuren in Politik und Verwaltung Wissen bereit, das auf der Basis wissenschaftlicher Standards gewonnen wurde, und das dazu beitragen soll, politische Entscheidungen evidenzbasiert zu treffen und umzusetzen. Dabei ist zumindest zwischen bis dato „gesichertem Wissen“ und „riskantem Wissen“ zu unterscheiden, wie die Diskurse zur Bewältigung der gegenwärtigen Pandemie lehren. Evaluierende stehen somit vor der Herausforderung, sowohl wissenschaftlich angemessen als auch der Politik gegenüber angemessen zu handeln. Zur wissenschaftlichen Angemessenheit gehören, Distanz zum Evaluationsgegenstand zu wahren, die Pluralität von disziplinären Perspektiven und Theorien zu reflektieren, Erkenntnisse aus empirischen Daten methodisch kontrolliert zu gewinnen sowie Limitationen transparent zu machen. Politische Angemessenheit bedeutet, anschlussfähig zu sein an gesellschaftliche Diskurse, an Wahrnehmungen, Wertvorstellungen und Positionen politischer Akteure sowie deren Handlungspielräume im Blick zu haben.

Damit Erkenntnisse aus Evaluationen Eingang in politische Entscheidungen finden, bedarf es einer Balance aus wissenschaftlicher und politischer Angemessenheit sowie einer Vermittlung zwischen beiden Sphären. Aber wie können Evaluierende die gebotene Distanz mit der notwendigen Nähe zu ihren Auftraggebern und den Adressatinnen und Adressaten ihrer Evaluationsergebnisse verbinden und so eine (gegenseitige) Verständigung herbeiführen? Als Antwort schlägt beispielsweise Roger A. Pielke die ehrliche Maklerin (honest broker) vor. Sie vermittelt zwischen dem politisch Gewünschtem und wissenschaftlich begründbaren Möglichkeiten, indem sie Akteuren in Politik und Verwaltung Handlungsalternativen darlegt, die auf wissenschaftlich gesichertem Wissen beruhen und gleichzeitig einen Spielraum für politische Entscheidungen auf der Basis von Interessen und Wertvorstellungen erlauben. In dieser Perspektive kann es Evaluierenden gelingen, gleichzeitig ihre fachliche Integrität zu wahren, ihre praktische Relevanz herauszustellen und Vertrauen in das Potenzial von Evaluation zu stärken. Die ehrliche Maklerin soll anhand ausgewählter Evaluationsfallstudien aus den Politikfeldern Arbeitsmarkt und Integration sowie mit Bezug zur Pandemiekrisenpolitik diskutiert werden.

 
15:45 - 16:30Pause - Treffen mit Sponsorinnen und Sponsoren
16:30 - 18:00B1: Prinzipien zur Evaluierung strukturbildender Förderansätze am Beispiel von Armutsprävention
Leitung der Sitzung: Marcus Neureiter, Ramboll Management Consulting
 

Prinzipien zur Evaluierung strukturbildender Förderansätze am Beispiel von Armutsprävention

Anna Iris Henkel1, Anja Durdel1, Claudia Michelfeit2, Heidemarie Rose3, Marcus Neureiter1

1Ramboll Management Consulting, Deutschland; 2Thüringer Ministerium für Arbeit, Soziales, Gesundheit, Frauen und Familie, Deutschland; 3Bremer Initiative zur Stärkung frühkindlicher Entwicklung BRISE bei der Stadtgemeinde Bremen, Deutschland

Diskutiert werden gesammelte Erfahrungswerte der Evaluation strukturbildender Förderansätze zur Stärkung von Prävention im Mehrebenensystem als Beitrag zum Wandel durch Evaluation. Mit den Auftraggeberinnen wird erörtert, welche Anforderungen sich bei der Evaluierung solcher Interventionen als ein Beitrag zum Wandel der Evaluation ergeben. Anhand zweier Projektbeispiele werden gewählte Designs, Instrumente und Methoden einerseits sowie Anforderungen und Mehrwert andererseits diskutiert.

Projektbeispiele, Vorträge und Diskussion:

  • „Evaluierung der Einführung und Umsetzung der ESF-kofinanzierten Armutspräventionsrichtlinie im Freistaat Thüringen“: Anna Iris Henkel
  • „Qualitativen Prozess- und Begleitevaluation der Bremer Initiative zur Stärkung der frühkindlichen Bildung - BRISE“: Dr. Anja Durdel
  • Interview und Diskussion mit Auftraggeberinnen: Claudia Michelfeit, Thüringen und Dr. Heidemarie Rose, Bremen
  • Anschließende Podiumsdiskussion mit Fragen und Anmerkungen aus dem Publikum
 
16:30 - 18:00B2: Wechselwirkungen zwischen gesellschaftlichen Veränderungen und Evaluationsprozessen in der öffentlichen Verwaltung – Wie wirken sich Megatrends und Krisen auf die Evaluation aus?
Leitung der Sitzung: Prof. Dr. Stephan Grohs, Deutsche Universität für Verwaltungswissenschaften

Session des AK Verwaltung

 

Wechselwirkungen zwischen gesellschaftlichen Veränderungen und Evaluationsprozessen in der öffentlichen Verwaltung – Wie wirken sich Megatrends und Krisen auf die Evaluation aus?

Stephan Grohs1, Axel Piesker2, Gottfried Konzendorf3

1Deutsche Universität für Verwaltungswissenschaften; 2Deutsches Forschungsinstitut für öffentliche Verwaltung; 3Bundesministerium für Wirtschaft und Energie

AK Verwaltung

Moderation: Prof. Dr. Stephan Grohs, Deutsche Universität für Verwaltungswissenschaften

Politik und Verwaltung sehen sich sowohl bei der Formulierung als auch bei der Implementation von Programmen und Maßnahmen mit dynamischen Entwicklungsprozessen konfrontiert. Diese Entwicklungen gehen auf verschiedene Megatrends zurück, welche die politische Agenda beeinflussen. Zu nennen sind hier beispielhaft der demografische Wandel, die Digitalisierung, aber auch die Inklusion oder die nachhaltige Entwicklung. Diese Megatrends wirken sind allerdings nicht nur auf das Agenda Setting, die Politikformulierung oder -implementation aus, sondern auch auf die Politikevaluation. Aus diesem Grund beschäftigt sich der AK Verwaltung im Rahmen seiner Session zum Thema „Wechselwirkungen zwischen gesellschaftlichen Veränderungen und Evaluationsprozessen in der öffentlichen Verwaltung – Wie wirken sich Megatrends und Krisen auf die Evaluation aus?“ mit folgenden Leitfragen:

  1. Wie schlagen sich Megatrends im Evaluationssystem in Deutschland nieder?
  2. Welche Möglichkeiten gibt es, um Reformprozesse umfassend zu evaluieren?
  3. Vor welche Herausforderungen stellen solche Entwicklungsdynamiken Auftraggeberinnen und Auftraggeber sowie Evaluatorinnen und Evaluatoren bei der Planung und Durchführung von Evaluationen?

Die folgenden drei Vorträge sollen dabei helfen, Antworten auf diese Leitfragen zu finden und diese im Rahmen der Session mit den Teilnehmerinnen und Teilnehmern zu diskutieren:

  1. Die Abschätzung von Gesetzesfolgen als Spiegelbild sozialer, wirtschaftlicher und ökologischer Entwicklungen – Fragmentierungstendenzen der Gesetzesfolgenabschätzung auf Bundesebene (Axel Piesker, Deutsches Forschungsinstitut für öffentliche Verwaltung)
  2. Evaluation von Verwaltungsreformen - Gestern, heute und morgen (Prof Dr. Markus Seyfried, Hochschule für Polizei und öffentliche Verwaltung Nordrhein-Westfalen)
  3. „Work in Progress“ – Evaluation inmitten dynamischer Entwicklungsprozesse am Beispiel der Evaluation des E-Government-Gesetzes Baden-Württemberg während der COVID-19-Pandemie (Carolin Steffens, Deutsches Forschungsinstitut für öffentliche Verwaltung)
 
16:30 - 18:00B3: „Und plötzlich rennen sie einem die Bude ein?“ – Evaluation der Digitalsemester an Hochschulen zwischen Weiterentwicklungen und altbekannten Grenzen
Leitung der Sitzung: Frank Niedermeier, Universität Potsdam
Leitung der Sitzung: Thi To-Uyen Nguyen, Universität Potsdam
 

„Und plötzlich rennen sie einem die Bude ein?“ – Evaluation der Digitalsemester an Hochschulen zwischen Weiterentwicklungen und altbekannten Grenzen

Frank Niedermeier1, Benjamin Apostolow1, Wenke Seemann2, Sophia Albrecht1, Thi To-Uyen Nguyen1

1Universität Potsdam; 2Technische Universität Berlin

Vor dem Hintergrund der Evaluation von Studium und Lehre in den vergangenen Digital- und Hybridsemestern, wird der Workshop die Rolle der Evaluation in Zeiten des „emergency-remote-teachings“ in den „Corona-Semestern“ und dessen Folgen diskutieren und reflektieren. Dabei soll es sowohl um a) die Veränderung der Evaluation als auch um b) die Rolle der Evaluation in der veränderten Situation und c) die Rolle der Evaluation in einem nun begonnenen längerfristigen Veränderungsprozess von Studium und Lehre, gehen. Die Zielstellung des Workshops ist es, Schlüsse für zukünftige Evaluationen von Lehre und Studium an Hochschulen zu ziehen, welche voraussichtlich zunehmend neue Formen der Lehre und des Lernens berücksichtigen und unterstützen sollte, sowie proaktiv auf sich schnell verändernde Gegebenheiten und Bedarfe vorbereitet sein muss.

Im Sinne einer kritischen Reflexion und als Denkanstoß für die Diskussion im Workshop wird die Evaluation der Digitalsemester an der Technischen Universität Berlin (Wenke Seemann) und Universität Potsdam (Frank Niedermeier & Benjamin Apostolow) vorgestellt: Wie hat die Evaluation auf die Krise reagiert? Wie hat sie sich dabei verändert? Welche Bedarfe wurden an sie gestellt und welche Ziele hat sie sich selbst auferlegt oder auferlegen lassen? Welche Ansprüche haben Lehrende, Studierende und Hochschulakteure auf zentraler wie dezentraler Ebene an die Evaluation gestellt und wie wurde sie empfunden und genutzt?

 
16:30 - 18:00B4: Wandel durch Evaluation und Wandel der Evaluation
Leitung der Sitzung: Prof. Dr. Jan Hense
Leitung der Sitzung: Dr. Angela Wroblewski, IHS

Session des DeGEval-Vorstands

16:30 - 18:00B5: Die Frage nach dem Wie – spezielle methodische Ansätze
Leitung der Sitzung: Peter Kaufmann, KMU Forschung Austria
 

Der P2I Fragebogen zur Evaluation von Forschungsintegrität

Linda Zollitsch1, Nicolaus Wilder1, Julia Priess-Buchheit2

1Christian-Albrechts-Universität zu Kiel, Deutschland; 2Hochschule für angewandte Wissenschaften Coburg, Deutschland

Das Thema Forschungsintegrität mit dem Ziel, einen gesellschaftlichen Wandel herbeizuführen, hat im europäischen Kontext in den letzten Jahren stark an Bedeutung gewonnen. Es gibt immer mehr Programme, die darauf abzielen, (angehenden) Wissenschaftler_innen das Thema zu vermitteln. Gleichzeitig gibt es aber nur wenig empirische Daten über die Wirksamkeit solcher Programme. Die Evaluationen, die bisher in diesem Bereich durchgeführt wurden, bedienen sich überwiegend vielfältiger qualitativer Methoden, was eine Vergleichbarkeit der unterschiedlichen Programme im Hinblick auf deren Wirksamkeit stark erschwert. Ein standardisierter Test, der spezifisch für den Gegenstandsbereich Forschungsintegrität entwickelt wurde, fehlt gegenwärtig.

Die standardisierten Tests, die bisher in dem Bereich eingesetzt werden stammen daher meist aus dem benachbarten Bereich der moralischen beziehungsweise ethischen Bildung und befassen sich häufig mit Entscheidungen in Dilemma-Situationen. Dies trifft jedoch nicht den Kern von Forschungsintegrität, da es hier häufig eher um verschiedene Anreize geht, die zu einer Entscheidung führen, sowie um die Orientierung an wissenschaftlichen Standards. Um diese Lücke zu schließen, ist der P2I Fragebogen als quantitatives Instrument für die Evaluation von Lerneinheiten zur Forschungsintegrität entwickelt worden und als vierstufiger Test konzipiert. Der Test basiert auf den Inhaltsbereichen des Europäischen Verhaltenskodex für Integrität in der Forschung und zeigt die Entscheidungs- sowie die Begründungsmuster der Testteilnehmenden auf. Außerdem wird die Sicherheit, mit der die Testteilnehmenden die Entscheidung sowie die Begründung getroffen haben anhand einer Skala abgebildet. Insbesondere die Begründung zu einer zuvor getroffenen Entscheidung stellt einen Vorteil gegenüber klassischen Multiple-Choice Tests dar. Die Begründungen zu den Entscheidungen sind bei der Entwicklung des P2I Fragebogens in den Fokus genommen worden, da diese einen Hinweis darauf liefern, mit welchen stabilen (un)wissenschaftlichen Überzeugungen wissenschaftliches Handeln begründet wird. Der P2I Fragebogen soll einen Diskurs über standardisierte Instrumente im Bereich der Forschungsintegrität eröffnen und als ein Schritt in Richtung einer evidenzbasierten Verbesserung von Programmen zur Forschungsintegrität verstanden werden.



Wie evaluiere ich einen Experimentierraum?

Christina Schuh, Sonja Fringes, Daniel Schwertfeger, Harald Kania

HS Bund, Deutschland

Agile Formen des Projektmanagements, die in der Softwareentwicklung entwickelt und erprobt wurden[1], lassen sich mittlerweile auch in der Förderpraxis in unterschiedlichen Politikbereichen finden. „Experimentierräume“ werden nicht nur in der Forschungsförderung ausgeschrieben (vgl. neue Förderstrategie der Volkswagenstiftung[2] und Website Bundesministerium für Bildung und Forschung[3]), sondern auch vom Bundesministerium für Arbeit und Soziales[4] (BMAS). Hauptmerkmale von Experimentierräumen bestehen darin, dass das geförderte Projekt nicht als geradliniger, sondern vielmehr als iterativer und ausdrücklich ergebnisoffener Prozess verstanden wird, bei dem das Ausprobieren im Mittelpunkt steht und ein „Scheitern“ erlaubt ist. Daraus ergeben sich auch für die Evaluationslogik neue Herausforderungen, die Gegenstand des Vortrags sein sollen.

Ging Evaluation bisher von einer linearen Förderung aus, in der es gilt eine Indikatorik für Input – Output – Outcome und Impact zu definieren, zu erheben und auszuwerten, gilt es nun zu diskutieren, wie iterative und erfolgsoffene Lernprozesse abgebildet werden können.

Folgende Fragen stehen dabei im Fokus:

- Welche Konsequenzen ergeben sich für das Verhältnis von formativen versus summativen Evaluationsansätzen?

- Wie können Evaluationsdesigns gestaltet werden, die gleichermaßen offen für intendierte und nicht-intendierte Effekte sind?

- Inwiefern ändert sich die Bedeutung von qualitativen Methoden im Vergleich zu quantitativen Methoden?

Zunächst wird ein Überblick zu Aufgaben und Zusammenspiel der einzelnen Akteure*innen der BMAS-Förderrichtlinie "Zukunftsfähige Unternehmen und Verwaltungen im digitalen Wandel" gegeben. Im Anschluss werden aus der Perspektive der Gesamtevaluation erste Antworten und Ergebnisse auf die aufgeworfenen Fragen vorgestellt.

[1] Kuster, Jürg (2018). Handbuch Projektmanagement. Wiesbaden: Springer.

[2] https://www.volkswagenstiftung.de/unsere-foerderung/die-neue-foerderstrategie-der-volkswagenstiftung

[3] https://www.go-bio.de/de/experimentierraeume-1703.html

[4] https://www.experimentierraeume.de/start



Antizipation des Wandels - Beiträge einer explorativen Delphi-Befragung zur programmatischen Weiterentwicklung eines Förderprogramms

Marianne Kulicke

Fraunhofer Institut für System- und Innovationsforschung, Deutschland

Evaluationen von FTI-Programmen haben einen Fokus auf Interims- und Ex-Post-Analysen zur Fördertätigkeit (Zielerreichung, Wirkungen, Wirtschaftlichkeit, Empfehlungen) und dienen gegen Ende des Förderzeitraums komplexer Forschungsschwerpunkte i.d.R. zu einer programmatischen Neuausrichtung. Hierzu beauftragen Fördergeber zunehmend Elemente einer Ex-ante-Evaluierung ihrer konzeptionellen Überlegungen gemeinsam mit Ex-Post-Analysen. Denn die Rückschau liefert keine ausreichenden Erkenntnisse, um künftige Entwicklungen mit hoher Veränderungsdynamik zu antizipieren. Vielmehr besteht der Anspruch, mögliche Pfade des technologischen Wandels und Forschungsbedarfe zu identifizieren, Zukunftsszenarien zu entwerfen und Förderadressaten frühzeitig einzubinden.

Der Vortrag zeigt, wie in einer aktuellen Evaluation diese Anforderungen eingelöst wurden -durch Adaption des weit verbreiteten Delphi-Ansatzes als Teil einer rückschauenden Bewertung eines umfangreichen Förderprogramms. Zwei grundlegende Herausforderungen bestanden: (1) Die Generierung eines Pools an Expert*innen mit vertiefter Expertise - generell bei Delphi-Befragungen ein großes methodisches Problem. Sie müssen in den für die programmatische Weiterentwicklung wichtigen Feldern notwendige Kenntnisse aufweisen. Die frühzeitige Planung zur Zusammenstellung des Personenkreises und Maßnahmen für eine Mitwirkung ermöglichen einen Multi-Perspektiven-Ansatz. (2) Die Ableitung von Hypothesen, zu denen die Einschätzung der Expert:innen abgefragt wird. Zur Weiterentwicklung eines bestehenden Forschungsschwerpunktes gibt es meist bereits Überlegungen und laufende Schritte der Programmerarbeitung beim Fördergeber, mit denen eine Delphi-Befragung verzahnt sein muss bzw. auf denen sie bauen kann.

Im Beispiel konnten die Teilnehmenden in Runde 1 mögliche Herausforderungen in 6 Themenfeldern der zukünftigen Fördertätigkeit kommentieren und ergänzen, dazu Forschungsbedarfe in Wissenschaft, Wirtschaft und sonstigen Bereichen sowie konkrete Forschungsfragen skizzieren. Zu den aufbereiteten Ergebnissen der Runde 1 war in Runde 2 Feedback und vertiefende Ergänzungen möglich. So entstand eine große Vielfalt an Erkenntnissen, welche Forschungsthemen in einzelnen Förderlinien und kommenden Förderbekanntmachungen Berücksichtigung finden sollen (Programminhalte bis „Agendasetting“).

 
16:30 - 18:00B6: Gesellschaftlichen Wandel durch Evaluation mitgestalten
Leitung der Sitzung: Franziska Heinze, Deutsches Jugendinstitut e.V., Außenstelle Halle
Leitung der Sitzung: Stefanie Reiter

Gastgeber: AK Soziale Dienstleistungen

 

Wandel durch Metaevaluierung

Martin Noltze, Laura Kunert, Marian Wittenberg

Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), Deutschland

Mit dem universalen Leitbild „Transforming our world“ der Agenda 2030 für Nachhaltige Entwicklung haben sich die Mitgliedsstaaten der Vereinten Nationen 2015 dem gesellschaftlichen Wandel verschrieben. Die Evaluierung als angewandte Wissenschaft, hat sich zum Ziel gesetzt diesen Wandel nach Kräften zu unterstützen. Doch wie können Evaluierungen diesem Anspruch gerecht werden und zum Anstoß von Transformationsprozessen in Organisationen beitragen?

Mit dem Ziel den institutionellen Wandel durch die Schaffung von Evidenz und Empfehlungen zu unterstützen erweist sich die Meta-Evaluierung als wirkmächtiges Instrument. Auf Basis einer systematischen Auseinandersetzsetzung mit der Qualität von Evaluierungen und begleitet von entsprechenden Lern- und Rechenschaftslegungsmechanismen, bringen Meta-Evaluierungen relevante Hebel für einen Wandel in Stellung. Im Bereich der deutschen Entwicklungszusammenarbeit sind Meta-Evaluierungen bereits bei einigen Organisationen institutionalisiert, untern anderem am Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval).

Im Rahmen des vorliegenden Beitrags diskutieren die Autor*innen den Einfluss von organisationsübergreifenden Meta-Evaluierungen auf die Evaluationspraxis und den institutionellen Wandel deutscher Entwicklungsorganisationen. Auf Basis eines wirkungsorientierten Monitorings beginnt der Beitrag mit einer Auseinandersetzung mit den Wirkungen einer 2018 abgeschlossenen Meta-Evaluierung von über 500 Projekt-Evaluierungen von zwei staatlichen Durchführungsorganisationen durch das DEval. Anschließend erfolgt eine konzeptionelle und methodische Reflektion zukunftsweisender Evaluierungsarbeit mit Blick auf eine am DEval laufende Meta-Evaluierung, die sich mit Aspekten der Qualität von ca. 350 Projekt-Evaluierungen unterschiedlicher staatlicher und nichtstaatlicher Akteure in der EZ befasst.



Durch Evaluation und wissenschaftliche Begleitung ein Programm zur Demokratieförderung mitgestalten? Anregungen von Wandel und Veränderung in der (sozial-)pädagogischen Fachpraxis (Arbeitstitel)

Maren Zschach, Diana Zierold, Aline Rehse

Deutsches Jugendinstitut, Außenstelle Halle, Deutschland

Forschungsvorhaben (und im engeren Sinne Wissenschaftler:innen) mit einem evaluativen Auftrag sind immer wieder vor die Frage gestellt, welche Position gegenüber den Auftrag gebenden auf der einen Seite und den Beforschten auf der anderen Seite eingenommen werden soll. Daran gebunden steht die Frage danach im Raum, inwiefern ein „Wandel durch Evaluation“ ein Arbeitsziel sein kann. Wesentlich für eine Beantwortung ist die Vergegenwärtigung der Folgen des forschenden Handelns, sowohl für die eine wie für die andere Seite.

Diese Problemstellung berührt das Evaluationsprojekt, welches als zentrales Beispiel dienen soll in besonderer Weise: Im Bundesprogramm „Demokratie leben!“ sind wir als Evaluierende vor die schwierige Aufgabe gestellt, die praktische Umsetzung der Projekte zu bewerten und zugleich vor Ort aktiv und kritisch zu begleiten. Zudem stehen Evaluationen dieser Art jeweils in einem Spannungsfeld des Blicks einer breiten Öffentlichkeit, politischer Akteure, von Fach- und Berufsverbänden, gesellschaftlich und politisch relevanten Vereinen und Institutionen, aber auch der Träger und Beschäftigten der Praxis-Projekte selbst.

Anhand von Daten aus einer standardisierte Online-Befragung, die als Vollerhebung für den Bereich der Modellprojekte innerhalb der ersten Förderphase des Bundesprogramms (2015-2019) durchgeführt wurde, einer Dokumentenanalyse des Interessenbekundungsverfahrens sowie einer genuin qualitativen Interviewerhebung mit Fachkräften möchten wir im Vortrag der Frage nachgehen, wie der Fachkräftemangel im Feld der Radikalisierungsprävention und der politischen Bildung und die Heterogenität des vorfindlichen Berufsfeldes zu bewerten ist. Wir konzentrieren uns dabei auf den Bereich der Modellprojekte zu ausgewählten Phänomenen gruppenbezogener Menschenfeindlichkeit und zur Demokratiestärkung im ländlichen Raum sowie zur Radikalisierungsprävention.

Unserer Analyse verweist im Ergebnis auf mögliche Folgen, die Qualifikationsdefizite für das Programm, aber auch Beschäftigte haben können, orientiert darüber hinaus jedoch zugleich auch auf Lösungsmöglichkeiten. Bestehen bleibt die Frage, inwiefern unser Anliegen, Prozesse anzustoßen, die zu einem Wandel von Arbeitsbedingungen für pädagogische Fachkräfte und zur weiteren Professionalisierung von präventiv-pädagogischen Angeboten beitragen können ein legitimes Vorgehen in der Evaluationsforschung darstellen. Diese Frage möchten wir im Anschluss an den Vortrag gern diskutieren.