Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Datum: Freitag, 17.09.2021
9:00 - 10:152. Keynote und Verleihung des DeGEval Nachwuchspreises 2021

2. Keynote: Univ.-Prof. Dr. Dr. Christiane Spiel, Professorin für Bildungspsychologie und Evaluation an der Fakultät für Psychologie, Universität Wien

10:15 - 10:30Pause
10:30 - 12:00C1: Beitrag von Monitoring und Evaluation zur Unterstützung von strukturellem Wandel in Wissenschafts- und Forschungseinrichtungen
Leitung der Sitzung: Dr. Andrea Leitner, IHS
 

Beitrag von Monitoring und Evaluation zur Unterstützung von strukturellem Wandel in Wissenschafts- und Forschungseinrichtungen

Angela Wroblewski1, Jennifer Dahmen-Adkins2, Victoria Englmaier1, Sandra Karner3, Anita Thaler3, Madgalena Wicher1

1IHS, Österreich; 2RWTH Aachen University; 3Interdisziplinäres Forschungszentrum für Technik, Arbeit und Kultur, Graz, Österreich

Im ersten Teil der Session werden der Evaluations- und Monitoringzugang von vier EU-geförderten Strukturwandelprojekte vorgestellt und folgende Aspekte herausgearbeitet: die Einbindung bzw. Verortung des Monitorings bzw. der Evaluation im Projektkontext, der konkrete Auftrag an die Evaluation und der Zugang an die Implementierung (Rolle der Evaluator*innen) sowie erste Überlegungen zur Nutzung der Ergebnisse des Monitorings bzw. der Evaluation.

Die vier Projekte sind:

CHANGE - Challenging gender (in-)equalities in science and research

LeTSGEPs – Leading Towards Sustainable Gender Equality Plans in research institutions

JERRI - Joining Efforts for Responsible Research and Innovation

TARGET – TAking a Reflexive approach to Gender Equality for institutional Transformation

Im zweiten Teil der Session werden projektübergreifend folgende Fragen diskutiert:

  • Inwiefern beeinflussen die Rahmenbedingungen der Evaluation (Verankerung und Auftrag im Projektkontext, Design) die Akzeptanz der Evaluation bzw. reduzieren Widerstand?
  • Welche Rahmenbedingungen unterstützen den Aufbau einer Vertrauensbasis zwischen Evaluator*innen und involvierten Akteur*innen der implementierenden Organisation?
  • Welche Rahmenbedingungen begünstigen die Nutzung der Empfehlungen der Evaluation?
  • Wie stellt sich das Verhältnis von Monitoring und Evaluation dar?
  • Welche spezifischen Anforderungen an die Evaluation oder die Rahmenbedingungen ergeben sich aus dem Gleichstellungskontext?

Beteiligte Akteur*innen

Jennifer Dahmen-Adkins, RWTH Aachen University (CHANGE, LeTSGEPs)

Victoria Englmaier, Institut für Höhere Studien, Wien (Moderation)

Sandra Karner, Interdisziplinäres Forschungszentrum für Technik, Arbeit und Kultur, Graz (CHANGE)

Anita Thaler, Interdisziplinäres Forschungszentrum für Technik, Arbeit und Kultur, Graz (CHANGE)

Magdalena Wicher, Institut für Höhere Studien, Wien & Centre for the Studies of the Sciences and Humanities, Universität Bergen (JERRI)

Angela Wroblewski, Institut für Höhere Studien, Wien (TARGET)

 
10:30 - 12:00C2: Evaluation 2.0? Die Corona-Pandemie als Anstoß für Wandel in der Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe
Leitung der Sitzung: Susanne von Jan, smep-consult
Leitung der Sitzung: Kirsten Vorwerk

Session des AK Entwicklungspolitik und Humanitäre Hilfe

 

Evaluation 2.0? Die Corona-Pandemie als Anstoß für Wandel in der Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe

Kirsten Vorwerk, Susanne von Jan, Thorsten Bär

Sprecher*innen-Team AK Entwicklungspolitik und Humanitäre Hilfe

Evaluation 2.0? Die Corona-Pandemie als Anstoß für Wandel in der Evaluation in der Entwicklungszusammenarbeit und humanitären Hilfe

Die Ausbreitung der Corona-Pandemie hat die internationale Gemeinschaft vor neue globale Herausforderungen gestellt. Die veränderten Rahmenbedingungen haben nicht nur zu Veränderungen in der Arbeit der Organisationen in der Entwicklungszusammenarbeit und humanitären Hilfe geführt, damit verbunden sind auch weitreichende Auswirkungen auf die Umsetzung von Evaluationen in diesem Themenfeld. Einerseits steht Evaluation vor der Aufgabe Evidenz für eine wirksame Gestaltung der Maßnahmen bereitzustellen, andererseits sind mit der Pandemie grundlegende Konsequenzen für die Durchführung von Evaluationen verbunden. Begrenzte Reisemöglichkeiten und Kontaktbeschränkungen erfordern die Entwicklung neuer Prozesse und Methoden. Digitale Formate der Datenerhebung und –analyse wurden weiterentwickelt und ausgebaut, neue Evaluationsansätze erprobt und kreative Lösungen zum Umgang mit den neuen Herausforderungen entwickelt. Dabei wurden nicht nur kurzfristige Lösungsansätze für aktuelle Herausforderungen bereitgestellt. Mit der Pandemie wurden bestehende Entwicklungen beschleunigt und Innovationen vorangetrieben, die auch zukünftig weiter eingesetzt werden können.

Im Rahmen eines virtuellen Workshop-Formats, das einen interaktiven Austausch der Teilnehmenden ermöglicht, soll diskutiert werden, welche Veränderungen in der Evaluation in der EZ und humanitären Hilfe im Zuge der Corona Pandemie stattgefunden haben und inwieweit diese Veränderungen im Sinne eines langfristigen Wandels auch zukünftig Bestand haben sollen. Insbesondere sollen innovative Methoden, Formate und Prozesse identifiziert werden die sich bewährt haben und die auch zukünftig weitergeführt werden sollen. Einführend wird Jos Vaessen, Methodenberater der Independent Evaluation Group (IEG) der Weltbank, in einem Impulsvortrag neue Methoden und Ansätze vorstellen, die im Zuge der Pandemie entwickelt wurden. Die nachfolgende Diskussion erfolgt in virtuellen Kleingruppen mit der Nutzung von Whiteboards, auf denen die Ergebnisse dokumentiert werden.

 
10:30 - 12:00C3: Die Förderung von Transformationsprozessen in der Forschungs-, Technologie- und Innovationspolitik - aber wie messbar?
Leitung der Sitzung: Dr. Marianne Kulicke, Fraunhofer Institut für System- und Innovationsforschung
Leitung der Sitzung: Peter Kaufmann, KMU Forschung Austria
Leitung der Sitzung: Dr. Leo Wangler, iit in der VDI/VDE Innovation + Technik GmbH

Session des AK Forschungs-, Technologie- und Innovationspolitik

 

Die Förderung von Transformationsprozessen in der Forschungs-, Technologie- und Innovationspolitik - aber wie messbar?

Marianne Kulicke, Leo Wangler, Peter Kaufmann

Fraunhofer Institut für System- und Innovationsforschung, Deutschland

Der Arbeitskreis Forschungs-, Technologie- und Innovationspolitik thematisiert in seinem Frühjahrstreffen 2021 den zunehmenden Anspruch von Förderprogrammen, einen Beitrag zu Transformationsprozessen zu leisten, die angesichts der gesellschaftlichen Herausforderungen wie Klimawandel, alternde Gesellschaft, Gesundheitsversorge usw. notwendig sind. Es gibt Förderprogramme, die explizit auf Transformation ausgerichtet sind (z.B. zu Elektromobilität oder Bioökonomie), und weitere mit anderem Themenfokus, wo die Integration solcher Ansprüche an Beiträge zu Transformationsprozessen erst beginnt. Damit haben das Transformationsthema und die Messung von Programmwirkungen, die weit über die unmittelbar geförderten Gruppen hinausgehen, für laufende und zukünftige Evaluationen ein noch unterschiedliches Gewicht.

Veränderungen lassen sich nicht nur in den Förderinhalten konstatieren, sondern auch in den Förderansätzen und -instrumenten. Die Session vertieft, welche neuen Förderinstrumente und –ansätze in der Forschungs-, Technologie- und Innovationspolitik zuletzt in Deutschland und Österreich, ggf. auch in anderen Ländern, implementiert wurden. Ein Überblicksvortrag zeigt zunächst diese neuen Instrumente und Ansätze auf, und die Teilnehmer:innen der Session haben die Möglichkeit, Ergänzungen zu weiteren Maßnahmen und Lücken vorzunehmen. Geplant ist anschließend eine Online-Abstimmung zur Eignung des Spektrums an Förderinstrumenten im Transformationsprozess und ähnlichen Fragen, die sich beim Frühjahrstreffen des AK FTI ergeben können.

Im Anschluss daran werden die Erkenntnisse aus diesem Frühjahrstreffen zu den Implikationen für die Evaluation vorgestellt, die eine stärkere Berücksichtigung von Transformationszielen in Förderprogrammen haben dürfte. Absehbar ist: Dem Wandel bei Förderansätzen und Förderansprüchen muss auch ein Wandel in den Evaluationsansätzen und Methodiken folgen. Sie werden voraussichtlich multidiziplinärer und noch multidimensionaler. Die Folgen für die Evaluationen betreffen methodische Vorgehensweisen, Sets an Indikatoren zur Wirkungsmessung, Reichweiten von Förderwirkungen, die Berücksichtigung von Einflüssen und Limitationen aus verschiedenen Bereichen außerhalb der Fördertätigkeit usw. Auch hier ist geplant, Feedback von den Teilnehmer:innen einzuholen. Dies soll durch ein Board zum Posten von Anmerkungen, Vorschlägen usw. erfolgen.

 
10:30 - 12:00C4: Evaluation in transnationalen/interkulturellen Kontexten
Leitung der Sitzung: Thomas Heskia, Leuphana Universität Lüneburg
 

Wandel durch Migration – Lernen aus den kommunalen Integrationsstrategien unserer europäischen Nachbarn

Ina Dupret1,2

1HTW Saar; 2Universität des Saarlandes

Die Grenzregion zwischen Deutschland, Luxemburg, Frankreich und Belgien stellt eine der ältesten Zuwanderungsregionen Europas dar und ist zugleich durch eine hohe grenzüberschreitende Alltagsmobilität gekennzeichnet. Mit dem Ziel, die Folgen von Migration zu beobachteten und die in den Gemeinden stattfindenden gesellschaftlichen Veränderungen aktiv zu gestalten, wurden in zahlreichen Grenzgemeinden der Großregion kommunale Integrationsstrategien entwickelt.

Der Vortrag basiert auf vorläufigen Ergebnissen einer empirischen Dissertations-Studie und thematisiert methodische Herausforderungen beim grenzübergreifenden Vergleich kommunaler Integrationspolitik. Es wird gezeigt, dass sich die im Kontext der kommunalen Integrationsberichterstattung ermittelten Ergebnisse, aufgrund abweichender Konzeptionen und Definitionen, nicht unmittelbar vergleichen lassen. Eine Schwierigkeit liegt in der Tatsache, dass „Integration“ in den jeweiligen Kontexten unterschiedlich definiert wird. Integrationspolitik basiert auf Grenzziehungsmechanismen zwischen der Mehrheitsgesellschaft und der zu integrierenden zu-/eingewanderten Bevölkerung. Dabei weichen die Definitionen zur Eingrenzung der Letzteren voneinander ab, was sich u.a. in den zugrunde gelegten Terminologien, wie z.B. „Flüchtling“, „Mensch mit Migrationshintergrund“, „Drittstaatler“, „Erstankömmling“, „expatrié“ oder „Grenzgänger“ zeigt. Eine weitere Herausforderung besteht darin, dass sich Integrationsstrategien im Spannungsfeld zwischen dem Streben nach einer Angleichung der Lebensverhältnisse von Menschen mit und ohne Migrationshintergrund und der Würdigung von Vielfalt bewegen. Im Evaluationskontext hat das z.B. zur Konsequenz, dass der Gebrauch einer ausländischen Sprache sowohl als Indikator für gelungene als auch für gescheiterte Integration gedeutet werden kann, je nachdem ob ein Assimilations- oder ein Diversitätsmodell vorherrscht. Überdies ergibt sich beim M&E von Integrationspolitik die Frage, ob die Integrationsleistungen der zu integrierenden Bevölkerung oder der Grad der Offenheit der Aufnahmegesellschaft gemessen werden. Die hier zutage tretenden Differenzen in der konzeptionellen Ausrichtung kommunaler Integrationspolitik werden anhand eines sich auf die Grouded Theory stützenden Fallstudiendesigns herausgearbeitet und dabei die Stärken und Schwächen der einzelnen Strategien aufgezeigt.



Was hat sich aus Sicht der Zielgruppe geändert? Ein Anwendungsbeispiel des Most-Significant-Change- und Storytelling-Ansatzes

Verena Gantner, Angela Heucher, Sabine Brüntrup-Seidemann, Ida Wiborg

DEval Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit, Deutschland

Mit welchen Methoden können Veränderungen, die durch Interventionen entstehen, durch Evaluierungen erfasst werden? Wie kann dabei die Perspektive der Zielgruppe ausreichend integriert werden? Dies gelingt, indem die Zielgruppen selbst zu ihrer Wahrnehmung und Bewertung von Veränderungen befragt werden. Bei der Arbeit mit vulnerablen oder traumatisierten Zielgruppen, wie beispielsweise nach Konflikten, ist dabei jedoch ein besonders kontextsensibles Vorgehen unabdingbar, um einer Retraumatisierung der Zielgruppen im Rahmen der Datenerhebung vorzubeugen. Hierfür eignet sich ein Storytelling-Ansatz der Most-Significant-Change Methode. Diese qualitative und partizipative Methode basiert auf narrativen Interviews, in denen die Befragten gebeten werden, über ihre Einschätzung zu wahrgenommenen „Veränderungen“, die sich durch eine Intervention in ihrer Lebenssituation ergeben haben, zu berichten (Storytelling). Die Technik erlaubt es den Befragten hierbei selbst zu entscheiden, welche Themen sie ansprechen wollen und bietet so eine hohe Autonomie zum Ausmaß und zum Inhalt der vermittelten Informationen. Gleichzeitig trägt sie dazu bei, Retraumatisierung und Diskriminierung zu verhindern und Partizipation der Zielgruppen zu ermöglichen.

Im Rahmen der Evaluierung „Förderung der Gleichberechtigung der Geschlechter in Post-Konflikt-Kontexten“ des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) wurde untersucht, inwieweit Vorhaben der deutschen Entwicklungszusammenarbeit (EZ) zur Gleichberechtigung der Geschlechter in Post-Konflikt-Kontexten beitragen. Dabei wurden die Zielgruppen von EZ-Vorhaben in einem Storytelling-Ansatz zu ihren Einschätzungen der Outcomes der Intervention befragt. In der Praxis erwies sich die Methode dabei als besonders geeignet für Kontexte, in denen ein trauma- und konfliktsensibles Vorgehen im Umgang mit Zielgruppen unabdingbar ist. Gleichzeitig ist ein Storytelling-Ansatz auch in vielen anderen Kontexten anwendbar. Der Einzelvortrag stellt die Technik des Most-Significant-Change-Ansatzes am Beispiel der oben genannten Evaluierung vor und diskutiert hierbei Herausforderungen in der Anwendung des Ansatzes, interaktive Möglichkeiten der Auswertung und die Übertragung des Ansatzes auf andere Evaluierungsgegenstände.



Die Wirksamkeit deutscher Entwicklungszusammenarbeit bei konfliktbedingten Fluchtkrisen. Die Beschäftigungsoffensive Nahost

Helge Roxin, Alexander Kocks, Ruben Wedel, Nico Herforth, Thomas Wencker

DEval, Deutschland

Die Beschäftigungsoffensive (BO) Nahost wurde 2016 ins Leben gerufen, um einen Beitrag zur Perspektivbildung von Flüchtlingen in den Anrainerstaaten Syriens zu leisten. Zwei Kernkomponenten der BO Nahost liegen in der Schaffung arbeitsintensiver Beschäftigung und der Gehälterzahlung für Lehrkräfte zur Unterrichtung syrischer Flüchtlingskinder in Jordanien und der Türkei.
Die Wirkungsevaluierung geht der übergeordneten entwicklungspolitischen Frage nach, welchen Beitrag die BO Nahost zur Schaffung von Perspektiven für Flüchtlinge und Mitglieder der aufnehmenden Gemeinden sowie zu deren Stabilisierung leistet? Zur Beantwortung wendet die Evaluierung ein Mixed-Method-Design an, bei dem auch rigorose Wirkungsmessungen mit quasi-experimentellen Methoden zur Geltung kommen (zwei Panelbefragungen mit einer großen Anzahl von Flüchtlingen und vulnerablen Menschen in den Fallstudienländern Jordanien und Türkei).
Die Ergebnisse der Evaluierung zeigen, dass die BO Nahost mit Blick auf ihre Beschäftigungswirkungen vor allem temporär wirksam ist. Perspektivische Wirkungen wie der Aufbau beruflicher Kontakte oder Weiterbeschäftigungen sind jedoch kaum nachweisbar. Dagegen weisen die untersuchten Maßnahmen der BO Nahost ein höheres Maß an bleibenden positiven sozio-psychologischen Effekten auf, als dies vor der Evaluierung zu erwarten war. So trägt die BO Nahost zur Stärkung der sozialen Kohäsion in den Aufnahmeländern bei. Dies ist gerade vor dem Hintergrund zunehmender sozialer Spannungen zwischen Flüchtlingen und Einheimischen in der Türkei ein hochrelevantes Ergebnis.

Die Evaluierung empfiehlt die BO Nahost weiterzuführen, so lange die Krise in und um Syrien anhält. Insbesondere die Verbindung von temporären Beschäftigungsmaßnahmen für möglichst viele Bedürftige mit dem Aufbau respektive der Instandhaltung von Infrastruktur in Sektoren, die auch langfristig den Aufnahmeländern zugutekommen, hat sich bewährt.

 
10:30 - 12:00C5: Wirkungsmodellierung als Grundlage für Wirkungsmessung in unterschiedlichen Politikfeldern
Leitung der Sitzung: Dr. Jan Tobias Polak, DEval

Gastgeber: AK Methoden

 

Wirksamkeitsorientiert Evaluieren im Arbeitsfeld Deradikalisierung

Teresa Rupp

Bundesamt für Migration und Flüchtlinge, Deutschland

Das Forschungszentrum des Bundesamtes für Migration und Flüchtlinge überprüft regelmäßig, welche Deradikalisierungsmaßnahmen sich im Bereich der Tertiärprävention bewähren. Nach der Durchführung von Netzwerk- und Prozessevaluationen wird der Ruf nach wirksamkeitsorientierten Evaluationen (auch international) in Praxis, Wissenschaft und im politischen Raum immer deutlicher vernehmbar. Im Fokus steht dabei die Frage: Was funktioniert für wen, wann, wie und unter welchen Bedingungen?

Um diese Frage zu beantworten, entwickelt das BAMF Forschungszentrum gemeinsam mit einem/-r externen Partner/-in geeignete Instrumente, mit denen Evaluationen aus einer prozessorientierten Perspektive in eine wirksamkeitsorientierte Zielrichtung überführt werden können. Im Rahmen der wirksamkeitsorientierten Evaluation zweier bundesfinanzierter Beratungsstellen werden die der Beratungsarbeit zugrundeliegenden Wirkungsannahmen (Theories of change) und anekdotische, in der Arbeitspraxis bewährte Evidenzen wissenschaftlich überprüft. Nur so können konsolidierte Aussagen über die Effektivität und Effizienz von Beratungsmaßnahmen getroffen werden. Die Evaluation wird formativ-partizipativ umgesetzt und strebt an, eine positive Fehlerkultur zu etablieren, die es den verschiedenen Akteuren erlaubt, auch Misserfolge konstruktiv aufzuarbeiten.

Der Einzelvortrag skizziert am Beispiel dieses konkreten Evaluationsvorhabens die Weiterentwicklung von Zielen, Rollen und Durchführungen von Evaluationen in der öffentlichen Verwaltung. Sein Schwerpunkt liegt dabei auf den notwendigen Rahmenbedingungen für die Umsetzung dieser Grundlagenarbeit sowie den Herausforderungen und innovativen Ansätzen bei der methodischen Umsetzung. Dabei wird durch ein Vortragsduo bestehend aus BAMF Forschungszentrum und externem/-r Partner/-in auch die Beziehung zwischen Auftragnehmer/-in und Bedarfsträger/-in thematisiert.



Das Unverfügbare messen – ein Wirkungsmodell religiöser Vitalität zur Evaluation kirchlicher Projektarbeit

Miriam Zimmer, Veronika Eufinger

Ruhr-Universität Bochum, Deutschland

Säkularisierung beschreibt als fortschreitende Entkirchlichung und Privatisierung des Religiösen einen gesellschaftlichen „Megatrend“ (Pollack 2018). Aus kirchlicher Innenperspektive handelt es sich um eine multikausale Krise: Missbrauchsskandale führen zu Austrittswellen und die Alterung der kirchlichen Trägerschicht akzentuiert die Milieuverengung der Gemeindereligiosität (Sellmann 2006). Das Wegbrechen personaler und finanzieller Ressourcen sowie der Verlust gesellschaftlicher Relevanz bedingt einen enormen organisationalen Veränderungsdruck. Auf der Suche nach Wegen aus der organisationalen Krise wird Evaluation kirchlichen Handelns zunehmend nachgefragt und als Instrument evidenzbasierter Steuerung auch in Kirche eingesetzt. Während in den USA (vgl. etwa US Congregational Vitality Survey) und Australien (vgl. National Church Life Survey) bereits seit den 1990er Jahren auf der Ebene lokaler Kirchengemeinden Mitgliederzufriedenheit, Qualität von Gottesdiensten oder Eigenschaften der kirchlichen Führungskräfte erfasst werden (Powell et al., 2019), stellt im deutschsprachigen Raum die Evaluation kirchlicher Seelsorgearbeit eine neue Entwicklung dar.

Die katholische Kirche Deutschland ringt derweil um Einsatz und Rolle von Evaluation als „change agent“ für organisationalen Wandel: Das wachsende interne Selbstverständnis als Organisation, und der steigende Rechtfertigungs- und Transparenzdruck von außen fördern ein zunehmendes Bewusstsein für Wirkungsmessung als Steuerungsinstrument (Zimmer & Eufinger, in Vb.). Der Umgang mit innerkirchlicher Skepsis gegenüber der Quantifizierung von Erfolgskriterien und die Operationalisierung komplexer Outcomes stellen jedoch spezifische Herausforderungen dar. Insbesondere stehen Evaluator:innen vor der Aufgabe der empirischen Messung des, per definitionem, Unverfügbaren.

Das hierfür entwickelte Wirkungsmodell religiöser Vitalität stellt ein interdisziplinäres Evaluationskonzept seelsorgerischer Arbeit zwischen Religionssoziologie, Theologie und Evaluationsforschung dar. Zugrunde liegt diesem ein mehrdimensionales Konzept der Vitalität religiöser Gemeinschaften. Das Wirkungsmodell nimmt theoretisch fundiert vier Merkmale kirchlicher Arbeit (Professionalität, Kontextualität, Spiritualität und Intentionalität) als zentrale Einflussfaktoren auf Vitalität an. Die empirische Operationalisierung mit qualitativen und quantitativen Instrumenten und die Überprüfung des Modells wird anhand von 40 Seelsorgeprojekten vorgestellt.

 
10:30 - 12:00C6: Evaluation digitaler Lehre an Hochschulen
Leitung der Sitzung: Dr. Johannes Wiesweg, WWU Münster
 

GETTING SMART – ÜBER CHANCEN UND RISIKEN DIGITALISIERTER EVALUATION AN HOCHSCHULEN

Stefan Bauernschmidt

Hochschule Geisenheim University, Deutschland

Die Digitalisierung von Evaluationen an Hochschulen ist im vollen Gange. Im gleichen Maße wie sich Lehre und Studium digitalisieren, beschleunigt durch die pandemische Lage, wird auch die Evaluation von Lehre und Studium „smarter“ bzw. technisch effizienter.

Smarte Lehrevaluationen folgen ihren Evaluanden – digitale Lehre/digitales Studium – und werden dadurch reorganisiert: Waren Datenaufbereitung und statistische Auswertung bereits automatisiert, so fanden seit SS 2020 weitergehende Anstrengungen statt, auch die Datenerhebung in die Automatisierung mit einzubeziehen. Analoge, papierbasierte Fragebögen wurden in digitale Formate umgewandelt. Über ein sog. Plug-In, das Konnektivität zwischen der verwendeten Evaluations-Software und genutzten Lernplattform herstellt, wurden die Bögen Dozierenden und Studierenden online über einen verlängerten Zeitraum zur Verfügung gestellt. Die Bemühungen gehen aber weiter und zielen darauf ab, auch textuelle Datensätze, die über Freitextfelder standardisierter Fragebögen oder qualitative Erhebung generiert worden sind, mit Künstlicher Intelligenz (i. S. v. auf Basis menschlicher Intelligenz modellierte maschinelle Informationsverarbeitungsprozesse) aufzubereiten und auszuwerten.

Fraglich ist mit Blick auf die ausgreifende digitale Reorganisation der Evaluation, welche Chancen hiermit verbunden sind, aber auch welche Risiken.
Über jene zeitlich wie örtlich entgrenzte Bereitstellung der Fragebögen ergibt sich eine gesteigerte Chance für Studierende an Evaluationen teilzunehmen. Es entfallen auch langwierige und umständliche Scanprozesse papierener Fragebögen. Wichtig i. d. Z. ist, dass dadurch Freiräume geschaffen werden, sich verstärkt um die Nutzung evaluativer Ergebnisse zu bemühen.
Aber auch Risiken bestehen: So sind die digitalisierten standardisierten und in automatisierter Form statistisch auszuwertenden Fragebögen auf Typisierungen, auf typische Fälle angewiesen, um operativ zu bleiben. Negiert werden hiermit grundsätzlich Eigenarten des Einzelfalls, sei es des einzelnen Studierenden, der dort in einem Durchschnittswert nivelliert wird, oder sei es die Lehrveranstaltung mit geringer Teilnehmerzahl, bei der standardisierte Verfahren nicht länger greifen. Hier kommen qualitative Evaluationsformate zum Einsatz, wie bspw. die Dialogische Evaluation, die auf derartige Eigenarten, aber auch auf die Komplexitäten des Einzelfalls abzielen und die (gesetzlich geforderte) Evaluation auch kleiner Veranstaltungen ermöglichen.



Und, wie kommen Sie voran? - Lehrveranstaltungsevaluation in Zeiten digitaler Lehre

Manuela Pötschke

Universität Kassel, Deutschland

Die Lehrevaluation hat eine lange Tradition und wurde von zahlreichen inhaltlichen und methodischen Diskussionen begleitet. Bei allen kritischen Argumenten sind Veranstaltungsevaluationen an Universitäten (teilweise) verpflichtend und stellen ein wichtiges Element im Qualitätsmanagement dar. Dabei sind die Konsequenzen aus Evaluationen meist überschaubar. Das liegt zum Beispiel an der Diversität der Beurteilung der Studierenden, an den ungenauen Erhebungsinstrumenten, aber auch an den Lehrenden, die möglicherweise größere Umstellungen ihrer Lehrkonzepte scheuen. Die Konsequenzlosigkeit der Veranstaltungsevaluation bleibt in der Regel selbst ohne Konsequenz.

Seit der Umstellung auf digitale Lehre im SoSe 2020 hat sich die Funktion der Lehrevaluation vor allem für große Vorlesungen verändert und um eine soziale Komponente erweitert. In vorherigen Präsenzsituationen hob sich die digitale Form des begleitenden Feedbacks von den inhaltlichen Inputphasen deutlich ab (Pötschke/Krumbein 2020; Pötschke/Krumbein/Moosdorf 2019). Nun sind die Inputphasen selbst digital und erfordern ein hohes Maß an Aufmerksamkeit. Weiter wird asynchron studiert. Eine herkömmliche Begleitung des individuellen Lernfortschritts in Form von Evaluationen über weitere digitale Elemente wird nun eher als (vermeidbare) Belastung wahrgenommen. Deshalb muss die Konzeption der Evaluation überdacht und ihre Kommunikationsfunktion in Form eines formativen Feedbacks zum eigenen Lernprozess und zu den unterstützenden Lehrangeboten ausgebaut werden.

Im Beitrag sollen empirische Ergebnisse auf der Basis von Evaluationsdaten berichtet werden, die in den Lehrveranstaltungen zur Datenanalyse am Fachbereich 05 der Universität Kassel regelmäßig erhoben werden. Bei den Lehrveranstaltungen handelt sich um vierstündige Pflichtveranstaltungen für Politikwissenschaftler:innen und Soziolog:innen mit 150 bis 200 Teilnehmenden.

Pötschke, M./Krumbein, N. 2020: E-Learning in der Vorwissensaktivierung. In: Kahmann, S./Ludwigs, S. (Hrsg.): So gelingt E-Learning. Reader zum Higher Education Summit 2019. München: Pearson, 146- 153.

Pötschke, M./Krumbein, N./Moosdorf, S. 2019: Datenanalyse verstehen: Zur Rolle digitaler Medien in der Veranstaltung. Kassel

 
12:00 - 12:45Pause

Networking und neu hinzugekommenes Treffen:
Vernetzung und Austausch zwischen gemeinnützigen Organisationen und Stiftungen

12:45 - 14:15D1: Evaluation im Dialog von Wissenschaft, Praxis und Politik – Erfolgsfaktoren und Herausforderungen
Leitung der Sitzung: Dr. Claudia Zaviska, Bundesinstitut für Berufsbildung
Leitung der Sitzung: Oliver Rohde, DLR Projektträger

Session des AK Berufliche Bildung

 

Evaluation im Dialog von Wissenschaft, Praxis und Politik – Erfolgsfaktoren und Herausforderungen

Oliver Rohde1, Claudia Zaviska2

1DLR Projektträger, Deutschland; 2BIBB, Deutschland

Die Session greift die Frage nach der Rolle von Evaluationen in politischen Entscheidungsprozessen auf und eröffnet den Raum für eine Verständigung über die durchaus divergierenden Ziele, Erwartungen und Ergebnisverwertungen der einzelnen Stakeholder von Evaluation.

Idealtypisch sind an Evaluationen vielfältige Akteure beteiligt, welche entsprechend ihrer Selbstverständnisse agieren und kommunizieren. Kommunikation bedeutet nach Luhmann „praktisch immer ein Missverstehen ohne Verstehen des Miß“. Der Evaluationsbegriff wird in der Praxis häufig inflationär und synonym zu Managementtools wie Monitoring oder Controlling verwendet, auch die Abgrenzung zu „verwandten“ wissenschaftlichen Methodologien wie gestaltungsorientierten Forschungsansätzen oder Wirkungsmessung ist oftmals unklar. Die Frage nach dem „Miß“ ist deshalb gleichzeitig Ausgangspunkt und Ziel der Session: Was verstehen die beteiligten Akteure unter Evaluation? Welche Ziele und Erwartungen haben sie und wie werden die Ergebnisse genutzt bzw. in die relevanten Handlungskontexte transferiert? Dabei soll diskutiert werden, inwiefern z.B. die adressatengerechte Aufbereitung von Evaluationsergebnissen zur besseren Verständigung beitragen und somit die Akzeptanz und Reichweite von Evaluation erhöhen kann, um gesellschaftlichen und politischen Wandel zu unterstützen.

Um ein möglichst vielfältiges Spektrum von Politikfeldern abdecken und einen Dialog zwischen den Akteuren initiieren zu können, nehmen ausgewählte Vertreter*innen aus (Evaluations-)Forschung, Praxis und Politik teil:

  • Benjamin Lehmann (Bundesministerium für Bildung und Forschung) angefragt
  • Prof. Reinhard Stockmann (Centrum für Evaluation an der Universität des Saarlandes)
  • Dr. Iris Pfeiffer (Forschungsinstitut Betriebliche Bildung (f-bb))
  • Prof. Lars Balzer (Eidgenössischen Hochschulinstitut für Berufsbildung)
  • Hannes Barske (DLR Projektträger) angefragt
  • Prof. Michael Heister (Bundesinstitut für Berufsbildung)
  • Lennart Hoffmann (Berufliche Schule für Medien und Kommunikation, HIBB Hamburg)
  • Moderation:
  • Dr. Claudia Zaviska (Sprecherin AK Berufliche Bildung
  • Oliver Rohde (Sprecher AK Evaluation in der Wirtschaft)

Die Diskussionsrunde wird als Fishbowl-Diskussion geführt, bei der die Diskutant*innen den inneren Kreis und die Teilnehmenden den Außenkreis bilden. Nach einer ersten Diskussionsrunde wird der Kreis geöffnet. Die zweite Diskussionsrunde mündet in die Formulierung von Thesen für einen gelingenden Wissenschafts-Praxis-Politik-Dialog.

 
12:45 - 14:15D2: Wirkungen in der Sozialen Arbeit
Leitung der Sitzung: Stefanie Reiter

Session des AK Soziale Dienstleistungen

 

Wirkungen in der Sozialen Arbeit

Olaf Lobermeier1, Stefanie Reiter2, Frank Buchheit3, Sebastian Ottmann4

1proVal; 2DJI; 3LKA Baden-Württemberg; 4Evangelische Hochschule Nürnberg

Die Session greift das Thema "Wirkungsorientierung in der Sozialen Arbeit" auf. Im ersten Beitrag geht es dabei um die Chancen und Herausforderungen, die mit einer stärkeren Wirkungsorientierung in der Sozialen Arbeit verbunden sind. Herr Sebastian Ottman stellt in seinem Beitrag "Wirkungsorientierung und Wirkungsanalyse in der Sozialen Arbeit – Chancen und Herausforderungen für die Arbeitsfelder" Ideen zur praktischen Umsetzung von Wirkungsorientierung in der Sozialen Arbeit dar und wirft einen Blick auf die Frage, inwiefern Wirkungsanalysen zu einer Professionalierung der Praxis beitragen können.

Olaf Lobermeier stellt in seinem Beitrag "Möglichkeiten und Grenzen der Verzahnung formativer und summativer Evaluationsformen am Beispiel der Demokratieberater/innenausbildung im Bundesprogramm Zusammenhalt durch Teilhabe" einen konkreten Evaluationsansatz vor, der zum einen die beratend-begleitende Qualitätsentwicklung durch Evaluation im Blick hat, die Frage der Wirksamkeit aber nicht aus dem Auge verliert. Hierbei soll diskuteirt werden, wie formative und summative Evaluationsaspekte aufeinanander bezogen werden können und wie diese im Idealfall ineinandergreifen können.

 
12:45 - 14:15D3: Developmental Evaluation in Practice
Leitung der Sitzung: Dr. Maria Gutknecht-Gmeiner, IMPULSE Evaluation und Organisationsberatung
 

Developmental Evaluation in Practice

Maria Gutknecht-Gmeiner1, Gillian Mackay2, Magdalena Wailzer3, Frieder Bürkle4

1IMPULSE - Evaluation und Organisationsberatung; 2Sightsavers; 3Open Innovation in Science (OIS) Center / Ludwig Boltzmann Gesellschaft; 4Robert Bosch Stiftung GmbH

Innovation, agile programmes, adaptive management and dynamic change require approaches to evaluation that go beyond “plan your work and work your plan”. Michael Patton’s Developmental Evaluation (DE) offers a framework to deal with these kinds of situations. While Patton himself speaks of the “DE niche”, recent developments in programming and the current crisis suggest that his flexible approach should in fact be adequate for a wider range of evaluands.

The session wants to discuss the usefulness as well as the challenges of DE by providing exemplars from different fields -- development aid, disability inclusive health, research, philanthropy -- that centre around development and evaluation of innovative programmes. The session will start with a short introduction to DE followed by a panel discussion that will focus on the following questions:

  • For what kinds of evaluands / situations is DE used?
  • How is DE used? What is the approach taken?
  • What kind of mindset is required?
  • What is the unique proposition of DE? What are its limits?
  • What are common problems and challenges? How can they be overcome?

The session will be facilitated in an interactive way and encourage discussion and reflection.

Facilitation and introduction

Maria Gutknecht-Gmeiner, IMPULSE - Evaluation and Organisation Development

Discussants

Gillian Mackay, Sightsavers: Evaluating innovation in the “Disability Inclusive Development (DID) programme”: Piloting DE to support an Inclusive Health Approach to Improve Quality and Equity in Access to Eye Care Services for Women and Men with Disabilities in Kogi State, Nigeria.

Magdalena Wailzer, Open Innovation in Science (OIS) Center / Ludwig Boltzmann Gesellschaft: The Open Innovation in Science Impact Model: Reflecting on the impact of participatory research using a co-creatively developed theory of change approach.

Frieder Bürkle, Robert Bosch Stiftung GmbH: Piloting DE for the planning, monitoring and evaluation of programs and topics.

 
12:45 - 14:15D4: Werkstattgespräch: Evaluation und Verkehrswende
Leitung der Sitzung: Moritz Maikämper, AK Stadt- und Regionalentwicklung

Gemeinsame Session der AKs Stadt- und Regionalentwicklung & Umwelt

 

Werkstattgespräch: Evaluation und Verkehrswende

Reinhard Zweidler1, Peter de Haan van der Weg2, Moritz Maikämper3

1EBP Schweiz AG, Zürich; 2EBP Schweiz AG, Zürich; 3ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft

Werkstattgespräch: Evaluation und Verkehrswende

Alternative Antriebe, E-Mobilität, autonomes Fahren, Ride Sharing, Mobilitätskonzepte- und Dienstleistungen, Multimodalität, Mobility Pricing, CO2- freier Güterverkehr, Stauzeiten, Klima und Verkehr, Kostentragung von Umweltschäden, Landverbrauch, verkehrsarme Quartiere, neue Infrastrukturen und Strukturwandel durch Digitalisierung sind Stichworte im Diskurs über die Verkehrswende. Verkehrswende, ob erstrebt oder befürchtet, ist eines der grossen Themen im aktuellen politischen Diskurs. Alle föderalen Ebenen arbeiten an Konzepten aber auch an praktischen Projekten, um das Mobilitätsbedürfnis und die Lebensqualität, insbesondere in den Ballungsräumen, besser in Einklang zu bringen. Viele dieser Massnahmen werden evaluiert, allerdings stellt sich die Frage, ob die Evaluationen methodisch mit der Entwicklung der Realität mithalten. Gleichzeitig ist die DeGEval als Fachgesellschaft bis jetzt in diesem Politikfeld nicht präsent, sondern behandelt es, wenn überhaupt, in unterschiedlichen Arbeitskreisen.

Das Werkstattgespräch soll dazu beitragen, das in der DeGEval vorhandene Wissen zur Verkehrswende zu vernetzen und zu diskutieren, wen wir ausserhalb der DeGEval in den Diskurs um Evaluation im Kontext der Verkehrswende einbinden sollten. Zudem wollen wir , Ideen generieren, damit wir 2022 eine breitere, AK-übergreifende Frühjahrstagung zur Verkehrswende organisieren können. Diese soll die angedachten Anregungen vertiefen und beginnen, handlungsleitende Empfehlungen zu erarbeiten.

Workshop mit drei Impulsreferaten von je 5 bis 7 Minuten, Gruppenarbeit und anschliessend moderierte Diskussion

1. Kommunale Verkehrswende: Plädoyer für Evaluation

Moritz Maikämper, ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft

2. Hypothesen zur Evaluation von Verkehrswende

Dr. Harald Diaz, EBP, Zürich, und ETH Zürich

3. Auswirkungen der Verkehrswende auf die Umweltevaluation

Reinhard Zweidler, EBP, Zürich, und FHNW, Hochschule für Technik, Brugg

4. Messbarer „digital impact“ im Rahmen einer Mediation zu einem Verkehrs-Grossprojekt

Dr. Christoph Glauser, Geschäftsführer ArgYou AG, Baar; Geschäftsführer des Instituts für Angewandte Argumentenforschung, Bern

 
12:45 - 14:15D5: Unterstützung von Transformation und Wandel durch komplexe Programmevaluationen
Leitung der Sitzung: Kirsten Vorwerk

Gastgeber: AK Entwicklungspolitik und Humanitäre Hilfe

 

Learning touchpoints: How to introduce learning and change through evaluation in a large portfolio of programmes

Lucy Brealey1, Christiane Kerlen2

1NIRAS-LTS International; 2Kerlen Evaluation Ltd, Vereinigtes Königreich

The British Prosperity Fund (PF) is a cross-government fund that aims to reduce poverty by supporting inclusive economic growth in middle-income countries. £1.2 billion has been allocated to a portfolio of programmes over seven years. The Fund’s portfolio is currently split between 23 countries and across 12 sectors with programmes by a range of UK government departments.

The Evaluation and Learning (E&L) service for the fund is being delivered by a consortium of three companies, Tetratech International Development Europe, Integrity and NIRAS-LTS. The E&L service emphasises organisational learning applying a user and learning focused approach as well as contributing to the accountability mechanisms of the fund; it also contributes to generating the evidence base on mutual prosperity. Evaluations are carried out at programme level with an annual E&L cycle providing the basis for an evidence-based review of progress on what has been achieved, how and why. Evaluations are also synthesised for cross Fund management and learning purposes, with additional investigation into select topics. The approach emphasises that evaluations are more useful when stakeholders participate in their design, analysis and follow-up. An E&L evaluation learning cycle with six “learning touchpoints” is followed by all programme evaluations.

The learning touchpoints are:
  1. Validate evaluation questions and identify learning priorities - work with the programme team to prioritise and refine questions and ensure the evaluation meets their learning priorities
  2. Data collection – capture learning
  3. Validate findings and develop recommendations – co-develop recommendations with the programme team, before the report is finalised
  4. Action planning – support the programme team to develop an action plan against the recommendations
  5. Wider learning and dissemination – analyse and synthesise emerging learning with the programme team, and develop a dissemination plan to reach different audiences
  6. After action review – reflection meeting with the evaluation and programme teams

In this presentation the application of the learning cycle in praxis will be demonstrated using the case study of the evaluation of the Prosperity Fund’s Digital Access Programme.

Drawing on feedback from this and other Prosperity Fund evaluations the pros and cons of this approach are being assessed discussing the following aspects: useful structure vs. rigidity, duplication of content, suitability for different programme contexts.



Von Ex-post zu Mittendrin – Wandel und Lernen im Evaluationssystem der Internationalen Klimaschutzinitiative

Sigrun Meyer, Tobias Gerhard, Doreen Kubek

Zukunft - Umwelt - Gesellschaft (ZUG) gGmbH, Deutschland

Monitoring und Evaluation tragen dazu bei, dass Förderprogramme ihre Ziele und Förderzwecke besser erreichen können. Besonders in Förderprogrammen, die Wandel und Transformation verfolgen, stellt sich die Frage, wie Monitoring- und Evaluationssysteme ausgestaltet werden können, um dies jeweils bestmöglich zu unterstützen und sowohl Projekte als auch Programme kontinuierlich lernorientiert weiterzuentwickeln.

Ein Förderprogramm mit transformativem Anspruch ist die Internationale Klimaschutzinitiative (IKI). Sie ist seit 2008 eines der wichtigsten Instrumente des Bundesministeriums für Umwelt, Naturschutz und nukleare Sicherheit (BMU) zur internationalen Finanzierung von Klimaschutz und Biodiversität in Entwicklungs-, Schwellen- und Transformationsländern. Die ZUG gGmbH unterstützt dabei das BMU als Projektträger bei der Umsetzung der IKI. Sie koordiniert und steuert die Monitoring- und Evaluationsaktivitäten mit einer eigenen Fachabteilung.

In 2017 erfolgte eine Neustrukturierung der IKI hin zu umfangreicheren und langfristiger ausgelegten Fördervorhaben in gemeinsamer Umsetzung mehrerer Durchführungsorganisationen. Damit wurden die Förderbedingungen noch stärker auf ganzheitliche und nachhaltige Wirkung ausgerichtet. Gleichzeitig wurde der Bedarf deutlich, das bisherige zyklische Ex-post-Evaluierungssystem zu verändern, um komplexere Akteurskonstellationen und Wirkungszusammenhänge in sich verändernden Kontexten und längeren Zeiträumen besser zu erfassen und Lernen bereits während der Projektlaufzeit zu ermöglichen.

Im Vortrag stellt die ZUG gGmbH die Neukonzeptionierung des IKI-Evaluationssystems hin zu einem stärker lernorientierten System mit Fokus auf Zwischenevaluierungen und begleitenden Wirkungsevaluierungen vor. Wir verdeutlichen dabei konzeptionelle Überlegungen sowie die bisherige Umsetzung und reflektieren wesentliche Herausforderungen des veränderten Systems. Im Rahmen dessen soll mit den Teilnehmenden diskutiert und Erfahrungen ausgetauscht werden, wie die Nutzung von Ergebnissen und das Lernen aus Evaluationen in transformativen Projekten und Programmen in der Praxis umgesetzt wird oder umgesetzt werden sollte. Welche Schnittstellen, Lücken, aber auch Potenziale gibt es dabei? Welche Implikationen ergeben sich für Evaluationsdesign und Methodenauswahl?



(Methodische) Anforderungen an Evaluationen komplexer Bundesprogramme

Beyer Diana, Zierold Diana

Deutsches Jugendinstitut e.V., Deutschland

Komplexe Programme, wie bspw. das Bundesprogramm „Demokratie leben!“, stellen uns Evaluator:innen vor verschiedene Herausforderungen – neben der Herausforderung, dass es verschiedene Zielgruppen der Evaluation gibt (z.B. BMFSFJ als Auftraggeber, politische Akteure auf Bundes-, Landes- und kommunaler Ebene, Fachpraxis, Wissenschaft), besteht das Gesamtprogramm aus inzwischen acht in sich geschlossenen Handlungsbereichen, die sich dynamischen Rahmenbedingungen stellen und auf diese reagieren müssen. Eine bereichsübergreifende Perspektive nimmt dabei die Gesamtevaluation ein, aus deren Blickwinkel wir den Vortrag halten werden. Die damit einhergehenden Herausforderungen betreffen die Vielfalt und Spezifika der einzelnen Handlungsbereiche sowie die Abstraktion auf die Gesamtprogrammebene.

In der Evaluation setzen wir auf einen Methodenmix bestehend u.a. aus: quantitativen Vollerhebungen aller Projekte zu drei Zeitpunkten, qualitativen Befragungen ausgewählter Projekte, quantitativen und qualitativen Befragungen (semi-)externer Akteure, Regionalanalysen inkl. qualitativer und quantitativer Netzwerkanalysen und Dokumentenanalysen.

Im Vortrag möchten wir uns – fokussiert v.a. auf die quantitativen Methoden - mit folgenden Fragen auseinandersetzen und erste Antworten geben:

- Wie können wir den Ansprüchen der unterschiedlichen Zielgruppen gerecht werden?

- Wie kann eine Gesamtevaluation mit der Herausforderung umgehen, acht Handlungsbereiche mit unterschiedlicher Ausrichtung, unterschiedlichen Ebenen, auf denen sie sich bewegen (Bundes-, Landes- und kommunale Ebene sowie Struktur- und Handlungsebenen) zu evaluieren?

- Wie lassen sich Fragestellungen finden, die den Anforderungen und Eigenlogiken aller Handlungsbereiche gerecht werden?

- Wie lassen sich die Ergebnisse der verschiedenen Handlungsbereiche aggregieren?

 
12:45 - 14:15D6: Evaluation aus der Ferne: Remote Evaluationen – Chancen und Herausforderungen
Leitung der Sitzung: Dr. Jan Tobias Polak, DEval

Gastgeber: AK Methoden in der Evaluation

 

Menschenrechtsbasiert auf Distanz evaluieren: Chancen und Herausforderungen

Lena Taube, Angela Heucher, Tobias Polak, Lea Smidt

DEval, Deutschland

Wandel durch Evaluation anzustreben, ist ein Wesensmerkmal menschenrechtsbasierter Evaluationen (MRBE). MRBE zeichnen sich durch ihre Fokussierung auf Rechteinhabende, insbesondere strukturell benachteiligte Gruppen aus. Schon durch die Verwendung von Begrifflichkeiten wie „Rechteinhabende“ wird der angestrebte Wandel deutlich: Menschen werden nicht mehr als Empfänger*innen oder als Zielgruppe gesehen, sondern als Rechtssubjekte, die einen Anspruch darauf haben, dass Leistungen erbracht und Verfahrensregeln umgesetzt werden. Hierfür sind sogenannte Pflichtentragende, vor allem Staaten, verantwortlich.

MRBE berücksichtigen über den gesamten Evaluationsprozess hinweg menschenrechtliche Standards und Prinzipien, z.B. die Zugänglichkeit von Maßnahmen zur Bereitstellung von Leistungen oder die Partizipation von Rechteinhabenden im Prozessverlauf. Mit MRBE werden Evaluationsgegenstände aus vielfältigen Perspektiven untersucht. So soll eine gleichberechtigtere Position unterschiedlicher Akteur*innen während des Evaluationsprozesses und darüber hinaus gewährleistet werden. Lernen ist dabei eines der wichtigsten Ziele von MRBE – die Ergebnisse sollen für alle Beteiligten nachhaltig nützlich sein und zu Wandel durch Evaluation führen.

Auch der Wandel der Evaluation wird bei MRBE deutlich. Die praktische Umsetzung von MRBE stellt Evaluierende aller Fachrichtungen generell vor Herausforderungen, etwa mit Blick auf Aufwand, interkulturelle Kompetenz oder Kontextwissen. Vor allem der enge Kontakt zwischen Evaluierenden und Rechteinhabenden ist voraussetzungsvoll, um Lernen und Wandel als Ziele von MRBE zu ermöglichen. Müssen nationale oder internationale Evaluationen auf Distanz durchgeführt werden, etwa aufgrund von Mobilitäts- oder Kontakteinschränkungen während einer Pandemie, werden Herausforderungen an MRBE zusätzlich erhöht.

Wandel durch Evaluation und Wandel der Evaluation zeigen sich somit gleichermaßen in MRBE. Vor diesem Hintergrund stellt sich die Frage: Wie können MRBE auf Distanz durchgeführt werden und welchen Herausforderungen stehen Evaluierende gegenüber? Grundlage für die Beantwortung dieser Frage sind drei Fallstudien, die im Rahmen der Evaluation „Menschenrechte in der deutschen Entwicklungspolitik“ des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) im Globalen Süden auf Distanz durchgeführt werden. Ziel des Vortrags ist es, Erfahrungen aus den Fallstudien systematisch aufzubereiten, um sie für Evaluierende nutzbar zu machen.



Datenerhebung im virtuellen Klassenraum als neuer Feldzugang

Christopher Pabst, Kristin Hecker

Forschungsinstitut Betriebliche Bildung, Deutschland

Eine bewährte Erhebungsmethode im Rahmen von Evaluationen, die Personen in formalen Lernprozessen fokussieren, wie z.B. Schüler*innen oder Teilnehmende an Weiterbildungen, ist die Klassenraumbefragung. Sie bietet Vorteile wie z.B. eine vertraute Umgebung für die Zielpersonen und die Möglichkeit einer direkten Unterstützung im Falle von Unklarheiten bei gleichzeitig guter Kontrolle der Erhebungssituation. Bedingt durch die Corona-Krise ist diese Methode derzeit nicht oder nur begrenzt einsetzbar, da Kontaktbeschränkungen den Zugang zu Kursen und Klassenräumen begrenzen. Alternativ kann auf Onlinebefragungen zurückgegriffen werden, deren Stärken in einer Kosten- und Zeitersparnis sowie einer intelligenten Filterführung liegen, die aber Schwächen beim Feldzugang und den Rücklaufquoten aufweisen und stärkeren Selektionseffekten unterliegen.

Anbieter von Bildungsangeboten müssen aktuell verstärkt auf digitale Kursformate ausweichen und z.B. im virtuellen Klassenraum unterrichten. Vor diesem Hintergrund entstand im Rahmen einer Evaluation zur Sprachförderung ein innovativer methodischer Ansatz, der die Vorteile von Klassenraumbefragungen und Onlineerhebungen kombiniert. Der vorgesehene Beitrag beleuchtet, welche Chancen die Erhebung im virtuellen Klassenraum für Evaluationen bietet, welche Besonderheiten bei der Organisation zu berücksichtigen und welche Grenzen zu beachten sind. So bestehen bspw. hohe technische Voraussetzungen und die Befragten werden hinsichtlich des Ablaufs und Befragungsdurchführung besonders gefordert. Zusätzlich erfordert die Komplexität der Methode eine exakte Planung und eine Schulung der Lehrkräfte im Vorfeld der Erhebung.

Auf Grundlage der Erfahrungen, die das Projekt-Team beim Einsatz der Erhebungsmethode sammelte, werden Antworten auf die Frage, unter welchen Voraussetzungen virtuelle Klassenraumbefragungen im Rahmen von Evaluationen durchgeführt werden können, vorgestellt. Zur Einschätzung der Reliabilität und Validität wird darüber hinaus im Sinne eines Kontrollgruppenvergleichs ein Teil der Interviews im klassischen Sinn als Präsenzerhebung in Klassenräumen durchgeführt, um zu ermitteln, ob sich die Antwortmuster im Klassenzimmer von jenen im virtuellen Klassenraum unterscheiden. Die Ergebnisse aus diesem Vergleich fließen als Diskussionsgrundlage in die Präsentation zum Vortrag ein.



Evaluationen im Wandel – Inwiefern beeinflusst die Corona-Pandemie laufende Evaluationen? Eine Einordnung am Beispiel einer Evaluation eines gesetzlichen Förderprogramms.

Carolin Moeller, Franziska Hoerth

Deloitte, Deutschland

Die sich seit Anfang 2020 schnell ausbreitende Corona-Pandemie hat nicht nur öffentliche Maßnahmen, sondern auch deren laufenden Evaluationen beeinflusst. Die pandemiebedingten Geschäftsschließungen, Reisebeschränkungen und Kontaktverbote führen zu zahlreichen sozialen, psychischen, bildungspolitischen und wirtschaftlichen Auswirkungen. Diese Auswirkungen betreffen nicht nur Bürger und Unternehmen direkt, sondern auch gesetzliche Maßnahmen wie z.B. Förderprogramme, die daher ebenso sehr von der Pandemie betroffen sind. Im Fokus stehen Fragestellungen wie: Können die ursprünglichen Ziele der Evaluation erreicht werden? Wie können Daten trotz Kontaktbeschränkungen erhoben werden?

Für eine Evaluation ist die Erhebung von verlässlichen Daten unabdingbar. Sollte die Erhebung nicht oder nur eingeschränkt möglich sein, könnte dies die Effektivität einer laufenden Evaluation und deren Ergebnisse erheblich mindern. Da diverse Evaluationsmethoden wie die Vor-Ort-Begleitung und persönliche Interviews jedoch nicht bzw. nur stark eingeschränkt möglich sind, stellen sich zwei Fragen: Wie kann diese besondere Pandemiesituation inhaltlich adressiert werden? Zweitens, inwiefern kann sichergestellt werden, dass die Erhebung dieser Daten dennoch präzise und zuverlässig erfolgt?

Im Vortrag werden daher die Chancen und Herausforderungen bei begleitenden Evaluationen im Kontext der Corona-Pandemie erörtert. Anhand eines Praxisbeispiels, einer Begleitevaluation eines Förderprogramms in Deutschland, wird zunächst die neue Situation beschrieben und anschließend die Herausforderungen und Chancen dieses dynamischen Krisenereignisses aufgezeigt. Diese werden im Lichte der aktuellen methodischen Debatten wie zur Remote Evaluation betrachtet. Am Beispiel dieser Begleitevaluation wird die gewählte Datenerhebung und deren Anpassungen an Corona vorgestellt und mit einer alternativen Datenerhebungsmethode, dem KI-Tool Deep View, verglichen: Es wird herausgearbeitet, wie KI-Datenerhebungs- und -auswertungstools theoretisch dazu beitragen, Datenanalysen zu ergänzen und Synergien zu herkömmlichen Erhebungsmethoden zu erzeugen, indem z.B. große Datenmengen schnell analysiert und Stimmungen und Meinungsspektren erfasst werden können. Zur inhaltlichen Ausrichtung von Begleitevaluationen wird kurz vorgestellt, wie in Krisen Umstrukturierungsprozesse zielgerichtet analysiert werden können und warum es wichtig ist, deren Effekte genau zu erfassen und in der Evaluation entsprechend zu bewerten.

 
12:45 - 14:15D7: Blitzvortragssession und Diskussionsforum
Leitung der Sitzung: Jessica Prigge, Universität Kassel
 

Entwicklung und Validierung einer Kurzskala zur Einschätzung der Akzeptanz von Schulentwicklungsprojekten (A-SEW)

Matteo Carmignola, Franz Hofmann, Burkhard Gniewosz

Universität Salzburg, Österreich

Schulentwicklungsarbeit und Reformprojekte sind im Alltag von Lehrpersonen sehr präsent, obgleich nicht immer hohe Akzeptanz und Teilnahmemotivation für die Entwicklungsinitiativen berichtet werden. Aus der Schulentwicklungsforschung ist bekannt, dass der Implementationserfolg von Innovationen maßgeblich von den Charakteristika des Projektes und der Akzeptanz der beteiligten Personen abhängt. In diesem Blitzvortrag werden die Entwicklung, die Validierung und der Einsatz einer neuentwickelten Akzeptanzskala für Schulentwicklungsprojekte präsentiert, welche auf Grundlage von drei Dimensionen (Sinnhaftigkeit, Zweckmäßigkeit und Praktikabilität) die Akzeptanz von Entwicklungsprojekten bei Lehrpersonen misst. Das Instrument wurde für eine Stichprobe von n = 1453 Lehrpersonen im Rahmen eines nationalen Projektes für Schulen mit besonderen Herausforderungen umfassend validiert. Dabei bestätigt der Modellvergleich eine Drei-Faktoren-Lösung und attestiert der Kurzskala eine Messinvarianz für die Variablen Geschlecht, Schulform und Berufserfahrung. Die Akzeptanzskala kann sowohl in large-scale Untersuchungen bei überregionalen Reformprojekten, bei einem Monitoring an Einzelschulen ebenso wie auch in Kombination mit rekonstruktiven oder designbasierten Fallstudien als quantitative Datenquelle eingesetzt werden.



PrEval - Evaluationsdesigns für Präventionsmaßnahmen

Sina Tultschinetski, Julian Junk

Leibniz-Institut Hessische Stiftung Friedens- und Konfliktforschung, Deutschland

In der deutschen Extremismusprävention existieren vielfältige Präventionsansätze und -maßnahmen, die von ebenso vielfältigen Ansätzen und Bemühungen in der Qualitätssicherung begleitet werden. Qualitätssicherung und Evaluation stehen dabei spezifischen Herausforderungen gegenüber, die unter anderem auf diese Vielfalt in der Landschaft zurückzuführen sind. Einerseits zweifelsohne eine zentrale Stärke, bringt die Vielfalt andererseits viele verschiedene Perspektiven mit sich, die es zu vereinen gilt. Fragen nach Wirkung und gewinnbringenden Kooperationsprozessen zwischen verschiedenen Akteuren erfordern insbesondere in diesem gesellschaftspolitisch hochsensiblen Bereich mehrdimensionale Evaluationsansätze.

Evaluation soll die (Weiter-)Entwicklung und Umsetzung von Maßnahmen auf wissenschaftlicher Grundlage unterstützen. Dies kann jedoch nur gelingen, wenn Evaluierte und Evaluierende über ein gemeinsames Problem- und Zielverständnis verfügen, das sowohl die Bedarfe der Praxis als auch wissenschaftliche Qualitätskriterien einschließt und der zunehmenden Professionalisierung der Präventionspraxis Rechnung trägt. Evaluationen sollten daher partizipativ und partnerschaftlich statt „top-down“ sowie multimethodisch und gegenstandsangemessen angelegt sein.

Im Blitzvortrag wird das Projekt „PrEval – Evaluationsdesigns für Präventionsmaßnahmen: Multimethodische Ansätze zur Wirkungsermittlung und Qualitätssicherung in der Extremismusprävention sowie den Schnittstellen zur Gewaltprävention und politischen Bildung“ vorgestellt. Ziel von PrEval ist es unter anderem, Möglichkeiten und Grenzen der Evaluation und wissenschaftlichen Begleitung von Extremismuspäventionsmaßnahmen auszuloten, indem in engem Dialog mit verschiedenen Präventionsakteuren aus Verwaltung, Wissenschaft und Fachpraxis Evaluationsbedarfe und -kapazitäten in der Extremismusprävention in Deutschland erhoben sowie multimethodische Evaluationsdesigns entwickelt und im Rahmen von Pilotstudien teilweise erprobt werden.



Digitalisierungstrend vs. Digitalisierungsschock – Evaluation im Hochschulkontext zu Zeiten von Corona

Elisa Knödler, Anna von Werthern

LMU München, Deutschland

Wie auch in anderen Bereichen befolgt die Ludwig-Maximilians-Universität (LMU) München bei dem zukunftsweisenden Thema der Digitalisierung die Strategie der dezentralen Steuerung. Neben wenigen gesamtuniversitären Unterstützungsangeboten (u. a. eUniversity, Universitas Digitalis), wird der Prozess über die Fakultäten gesteuert. Dementsprechend ist die hochschulweite Lage hinsichtlich der Digitalisierung der Lehre sehr heterogen und abhängig von der jeweiligen Fachkultur.

Durch die Coronapandemie verschieben sich jedoch die Koordinaten enorm: LMU-weit findet ein (erzwungener) Digitalisierungsboom statt.

Dies erfordert sowohl in der Lehre als auch im Rahmen anderer universitärer Programme/Projekte eine Anpassung von Evaluationsaktivitäten. Während sich die Lehrveranstaltungsevaluation häufig auf die Adaption vorhandener Fragebögen beschränkt, stehen komplexe Programme/Projekte vor größeren Herausforderungen.

Es zeigt sich, dass der Ansatz der Theoriebasierten Evaluation (TBE) auch in diesem Kontext eine nachhaltige Herangehensweise ist. Wirkannahmen in Gestalt von mehr oder weniger ausdifferenzierten Programmtheorien (PT) lassen sich gut in iterativen Schleifen anreichern und somit an veränderte Rahmenbedingungen und hinzukommende Einflüsse anpassen. Gemäß der Grundannahme der theoriebasierten Evaluation verkörpert jedes Programm (mindestens) eine Theorie (Pawson 2003), die jedoch in der Praxis häufig nicht expliziert vorliegt. Ebendiese Explikation ist der essentielle Schritt der TBE (Chen 1990). Der Aufwand und die hohen Ressourcen zahlen sich besonders dann aus, wenn eine bereits generierte PT einem neuen Projekt zugrunde gelegt werden kann und lediglich eine Adaption vonnöten ist.

Im Blitzvortrag wird illustriert, wie die bestehende PT des in Präsenz- und Selbstlernphasen gegliederten Programms TutorPlus (LMU, PROFiL) als Grundlage für die Wirklogik und damit auch für die Evaluation eines anderen Programms ähnlicher Größenordnung zur Verbesserung der digitalen Lehre an der LMU herangezogen wird. Es zeigt sich, dass der iterativ angelegte Adaptionsprozess nicht nur eine theoretisch fundierte und empirisch belastbare Grundlage für die Programmevaluation bietet, sondern zudem ein enormer Mehrwert im Sinne von nachhaltigem Wissensmanagement entsteht wie auch ein hoher Prozessnutzen für das neue Programm on the way generiert werden kann.



Kompetenzentwicklung von Future Work Skills im Rahmen eines interdisziplinären Wahlsemesters – ein Praxisbericht aus der Hochschulevaluation

Alexandra Tulla, Marlene Cermak

FH St. Pölten, Österreich

Mit dem iLab (Interdisciplinary Lab) bietet die FH St. Pölten ein innovatives – mit dem Ars Docendi ausgezeichnetes – Wahlsemester an, in dem sich Studierende in interdisziplinären Teams mit einem realen Projekt beschäftigen. Für dieses Lernszenario ist ein Evaluationskonzept entwickelt worden.

In den Dimensionen Struktur-, Prozess- und Ergebnisqualität des Modells von Donabedian (1980) weist das iLab innovative Aspekte auf: Auf Strukturebene sind das interdisziplinäre Wahlmodul und das divergierende Vorwissen der Teilnehmenden zu betonen. Auf Prozessebene ist die Funktion der Lehrenden als Begleitperson und die Interaktion in der Peer-Gruppe besonders. Auf Ergebnisebene ist es die Leistungsbeurteilung: Die Studierenden bewerten das Ausmaß ihres Kompetenzerwerbs selbst. Geeint werden diese innovativen Impulse durch den Anspruch, Future Work Skills zu vermitteln. Welche durch den Wandel der Arbeitsmärkte zu einem wesentlichen Erfolgsfaktor für Absolvent*innen von Fachhochschulen werden.[1]

Das Panel-Design soll durch die Messung des Kompetenzerwerbs die Dimension der Learning Outcomes stärker berücksichtigen. So wird der Anspruch des iLab eingelöst, den Lernprozess gegenüber der Lehrgestaltung in den Vordergrund zu rücken. Die Kompetenzorientierung des gewählten Evaluationsdesigns spiegelt auch den Paradigmenwechsel in der Steuerungsorientierung des gesamten Bildungssystems (von „Inputs“ auf „Outcomes/Outputs“) wider.[2]

Zum Einsatz kommt ein Item-Katalog, bestehend aus 25 Selbstwirksamkeits-Statements, zu Beginn und Abschluss des iLab. Die Befragung ist auf selbstbezogene Auskünfte der Teilnehmenden angewiesen. Da Selbstreflexion ein inhärentes Element des iLab darstellt, wird dieser methodischen Schwäche ein Stück weit entgegengewirkt. Dieses Pilotprojekt soll zur Weiterentwicklung der zentralen Lehrveranstaltungs-Evaluierung beitragen.

[1] Wörwag, S., Cloots, A. (2018). Gut zu wissen, was uns in der New Work erwartet. S. Wörwag, A. Cloots (Hrsg.), Zukunft der Arbeit. Perspektive Mensch. Aktuelle Forschungserkenntnisse und Good Practices (S.3-29). Springer Fachverlag.

[2] Kremer, M. (2010). Kompetenzorientierung setzt valide Kompetenzmessung voraus. Berufliche Kompetenzen messen: Zeitschrift des Bundesinstituts für Berufsbildung, 39 (1), 3.



Begleitforschung „Plastic Pirates – Go Europe!“. Eine Blaupause für Forschungsdesigns in dynamisch wachsenden Settings

Valerie Knapp, Vanessa van den Bogaert, Joachim Wirth

Ruhr-Universität Bochum, Deutschland

Begleitforschung – Status Quo

Die wachsende Beteiligung von Bürgerforschenden an wissenschaftlichen Forschungsvorhaben geht einher mit der Etablierung von Citizen Science in Gesellschaft und Wissenschaft. Dennoch stehen die Evaluations- und Begleitforschung von Citizen-Science-Vorhaben – einschließlich der Entwicklung von Qualitätskriterien und Indikatoren – noch am Anfang und orientieren sich teilweise nur ungenügend an wissenschaftlichen Standards der empirischen Forschung. Das Begleitforschungsvorhaben der Citizen-Science-Aktion „Plastic Pirates – Go Europe!“ leistet hier einen Beitrag.

Gegenstand – Plastic Pirates – Go Europe!

Die Aktion „Plastic Pirates – Go Europe!“ ist eine Citizen-Science-Initiative, die im Zuge der Trio-Präsidentschaft im Rat der Europäischen Union in Deutschland, Portugal und Slowenien umgesetzt wird. 2020–21 erheben Jugendliche in ihren jeweiligen Ländern Daten über den Eintrag von Mikro- und Makro-Plastik über Fließgewässer in die Meere und Ozeane und verzeichnen diese auf einer digitalen Karte im Internet. Ziele der Aktion sind die Stärkung der wissenschaftlichen Zusammenarbeit in Europa, die Förderung bürgerwissenschaftlichen Engagements sowie die Sensibilisierung für einen bewussten und nachhaltigen Umgang mit der Umwelt.

Blaupause – Forschungsdesign

Ziel der Begleitforschung ist es, Erkenntnisse über die Teilnehmenden und die Wirkung der Teilnahme an der Citizen-Science-Aktion auf die Teilnehmenden zu gewinnen. Um kausale Effekte in großangelegten Citizen-Science-Projekten messen zu können, wurde ein Forschungsdesign mit aufeinander aufbauenden Phasen entworfen, welches die Untersuchung großer Stichproben mit Wirkstudien in kontrollierten experimentellen Settings verbindet. Es wird der Frage nachgegangen, ob die wissentliche Teilnahme (UV) an der Citizen-Science-Aktion anhaltende Effekte z. B. auf das Interesse (AV) und die motivationale Qualität der Schüler*innen (AV) hat. Erfasst werden neben dem Interesse von Schüler*innen am Projektthema und deren Motivation, wissenschaftliche Arbeitsweisen anzuwenden u. a. auch ein möglicher themenspezifischer Wissenszuwachs. Mit dem Vorhaben der Begleitforschung entsteht eine Blaupause dafür, wie zum einen Wirkungen von Citizen Science in streng kontrollierten experimentellen Designs empirisch überprüft werden können und zum anderen eben jene Wirkungen in großen, internationalen Stichproben (large-scale) mit weniger streng kontrollierten Untersuchungsdesigns sichtbar gemacht werden können.



Wandel der Evaluation in der internationalen Zusammenarbeit – neue Ansprüche an Wissenschaftlichkeit

Bernward Causemann1, Ines Freier2, Michaela Raab2

1Freier Berater; 2Freie Gutachterin

Übergreifende Problemstellung

Das Tagungsthema greift das Thema der (potenziellen) Rolle von Evaluation als Moderatorin und Gestalterin in Veränderungsprozessen auf – also die beratende Funktion von Evaluation.

Der Vortrag widmet sich dem Spannungsfeld zwischen

(a) den aktuellen Ansprüchen an Evaluation in Teilbereichen der deutschen Entwicklungszusammenarbeit – Vorgaben, alle OECD/DAC-Kriterien anhand standardisierter, häufig kleinteiliger Fragen zu behandeln, Einengung der Beobachtungsfelder, um in reduzierten Bereichen möglichst robuste Daten erheben zu können, normierten Berichtsformaten, engem Verständnis von wissenschaftlichem Vorgehen, Professionalisierung aufgefasst als Akademisierung, versus

(b) der Vielfalt der Rollen der Evaluation und insbesondere ihrer Beratungsrolle – bleibt sie bestehen oder verändert sie sich damit? Welches Verhältnis zur Wissenschaft zeigt sich in diesen Rollen?

Wie gehen wir als Evaluierende und Auftraggeber:innen damit um? Anregungen zum Umgang mit diesem Spannungsfeld.

Zusammenfassung des Vortrages

Format: Drei fünfminütige Impulsreferate und anschließende Diskussion im Plenum und/oder Kleingruppen (abhängig von Besucher:innenzahl)

Input Michaela Raab, freie Gutachterin: Wandel in den Ansprüchen an Evaluationsprozesse - Es wird angesichts enger Vorstellungen von Wissenschaftlichkeit schwieriger, angemessene Ansätze der Evaluation zu wählen, um relevante Fragen zu untersuchen

Input Bernward Causemann, freier Berater: „Rigorose Wirkungsevaluation“ als ideologisches Missverständnis - Woher kommt die Vorstellung, Wirkungsuntersuchungen anhand eines engen Spektrums von Methoden (z.B. mit Vergleichsgruppen) seien die beste Wahl? Wann sind sie es wirklich, wann nicht? Und was sagt diese Vorstellung von rigour über das Wissenschaftsverständnis aus?

Input Ines Freier, freier Gutachterin: Zum Verhältnis von Wissenschaft und Evaluation in der Internationalen Zusammenarbeit - Was bringt der Trend zum wissenschaftlichen Vorgehen in der Evaluation an Mehrwert? Trägt Evaluation zum Lernen und zum Wandel in der internationalen Zusammenarbeit bei?

 
14:15 - 14:45Pause
14:45 - 15:15Abschlussveranstaltung
Leitung der Sitzung: Stefan Schmidt, SCHMIDT EVALUATION
15:15 - 15:45Tagungsausklang