Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
E5: Blitzvorträge
Zeit:
Freitag, 16.09.2022:
12:45 - 14:15

Leitung der Sitzung: Dr. Susanne Mäder, Univation GmbH

Zusammenfassung der Sitzung

„Die Ableitung von Empfehlungen aus den Befunden eines Evaluationsprojekts als Ansatz zur Einflussnahme auf politische Diskussions- und Entscheidungsprozesse – Erfahrungen und Erkenntnisse aus einem Projekt der Berufsbildung“ (Kirsten Vollmer)

Der Blitzvortrag präsentiert, wie aus den Befunden eines (Evaluations-)Projekts zur Umsetzung und Akzeptanz der neuen Fortbildungsordnung „Fachkraft zur Arbeits- und Berufsförderung“ in der Berufsbildungspraxis Empfehlungen für Entscheidungsträgerinnen und Entscheidungsträger abgeleitet wurden, um damit auf politische Diskussions- und Entscheidungsprozesse Einfluss zu nehmen. Dabei skizziert der Vortrag die Zielstellung des Projektdesigns, mit der Wahl von drei relevanten Fokusgruppen und damit der Nutzung und Einbindung unterschiedlicher Perspektiven sowohl wissensbasierte Evidenz zu erzeugen als auch für werte- und interessenbezogene politische Handlungsziele relevante Erkenntnisse zu generieren.

Schwerpunkt des Vortrags bildet die Zusammenfassung von Erfahrungen bei der Durchführung eines Projekts innerhalb eines Feldes, das von unterschiedlichen Interessen, Perspektiven und Verantwortlichkeiten der Akteure geprägt ist, in dem staatliche und nicht-staatliche Akteure und Stakeholder in Aushandlungsprozessen aufeinander treffen und Evaluationsergebnisse in besonderer Weise „Machtwissen“ bedeuten.

Dargestellt wird, welche Erkenntnisse sich aus den Erfahrungen für andere Evaluationsprojekte mit vergleichbarer Zielstellung ableiten lassen. Insbesondere wird beleuchtet, welche Kriterien für die Entscheidung zur Formulierung von Empfehlungen als Ansatz zur Einflussnahme auf politische Diskussions- und Entscheidungsprozesse maßgeblich sein können. Darüber hinaus wird skizziert, was bei der Formulierung auf der Grundlage wissensbasierter Evidenz vorgenommener Ableitungen berücksichtigt werden sollte, um erfolgversprechenden Transfer von „Machtwissen“ zu erreichen.

Heterogene Angebote, heterogene Zielgruppe: Die Herausforderung der Lehrevaluation im Studium fundamentale (Svenja Hartwig)

Das Studium fundamentale (Stufu) ist der zentrale Ort an der Universität Witten/Herdecke (UW/H), an dem Studierende aller Semester und Fachrichtungen zum gemeinsamen, überfachlichen Lernen zusammenkommen. An der UW/H absolvieren Studierende 10% ihrer gesamten Studienleistung im Stufu. Zudem wurde 2020 das sogenannte WittenLab als zuständige Institution mit eigenen Veranstaltungen ausgegliedert, womit das Stufu zusätzlich gestärkt wurde.

Bis zu diesem Zeitpunkt wurden die Angebote im Stufu mit der gesamtuniversitären Lehrevaluation fokussiert. Die Lehrveranstaltungen haben jedoch mit Persönlichkeitsentwicklung und transdisziplinärem Kompetenzerwerb eine andere Zielsetzung als die klassischen, fachspezifischen Seminare und Vorlesungen. Darüber hinaus sind die Veranstaltungen im Stufu hinsichtlich Inhalten, Methoden und Ansprüchen sehr heterogen. Diese beiden Aspekte führen zu einer unzureichenden Passung der Evaluationsmethoden und den Gegebenheiten im Stufu, was dringend zu vermeiden ist (vgl. SEVAL Arbeitsgruppe Hochschulentwicklung und Evaluation, 2018).

Daher werden nun neue Evaluationsformate konzipiert und in der Praxis erprobt. Derzeit wird an einer flexibilisierten Standardisierung der überarbeiteten Lehrevaluation gearbeitet, wobei Kolleg*innen aller Disziplinen eingebunden werden. Ziel ist eine gewisse Vergleichbarkeit, aber auch individuelle Itemblöcke für spezifische Fragestellungen verschiedenartiger Seminaren sollen ermöglicht werden.

Darüber hinaus werden jedes Semester an aktuelle Fragestellungen angepasste, eher explorativ ausgerichtete, Fragebögen für Studierende und für Lehrende eingesetzt, die qualitative und quantitative Items beinhalten. Auf Basis der so generierten Ergebnisse werden anschließend qualitative Interviews mit ausgewählten Repräsentant*innen der jeweiligen Statusgruppen geführt. Dadurch können die Erkenntnisse vertieft und in einem interaktiven Kontext besprochen werden.

Die Weiterentwicklung der Stufu-Evaluation wird formativ angepasst und die gewonnenen Erkenntnisse bereits umgesetzt. Durch die Neukonzeption der Evaluation im Stufu wird die Qualitätssicherung in der Lehre langfristig gewährleistet und zudem Bedarfe identifiziert, denen mit weiteren innovativen Angeboten im Stufu begegnet werden soll.

Literatur

SEVAL Arbeitsgruppe Hochschulentwicklung und Evaluation (2018). Qualitätsmanagement Lehrveranstaltungen. Empfehlungen für Konzipierung, Etablierung, Durchführung und Verwendung von Evaluationen. Bern: SEVAL.

Projekt „Evaluation der Integrationskurse“ (Christian Babka von Gostomski)

Integrationskurse sind die zentrale Integrationsmaßnahme zur Sprachförderung und Wertevermittlung in Deutschland. Das Bundesministerium des Innern und für Heimat (BMI) beauftragte das Forschungszentrum des Bundesamts für Migration und Flüchtlinge (BAMF) mit dem Projekt „Evaluation der Integrationskurse“ (EvIk). EvIk hat das Ziel, die Wirkung und Nachhaltigkeit der Integrationskurse zu erforschen, fokussiert dabei auf den Allgemeinen Integrationskurs und den Alphabetisierungskurs und verfolgt vier Forschungsschwerpunkte:

- Analyse der Bestehensquoten und Identifikation entsprechender Einflussfaktoren
- Analyse von Kursverläufen und -austritten
- Analyse von Schnittstellen und Übergängen in andere Angebote
- Aspekte der Nachhaltigkeit der Integrationskurse

Kernstück von EvIk sind quantitative Längsschnittbefragungen von Kursteilnehmenden, Lehrkräften und Kursträgern. Die Befragungen der Kursteilnehmenden zu Kursbeginn starteten 2021 (bis 2022). Es folgen Befragungen zu Kursende (2022 bis 2023) und etwa ein Jahr nach Kursende (2023 bis 2024). Zusätzlich werden Kursteilnehmende, die ihren Kurs vorzeitig verlassen, erfasst und parallel zum Kursende außerhalb des Kurses befragt (2022 bis 2023), bevor sie erneut nach einem Jahr interviewt werden. Kursträger und Lehrkräfte werden zu Kursbeginn und Kursende befragt. Es werden etwa 1.700 (ehemalige) Integrationskursteilnehmende als mehrfach Befragte angestrebt, die mit Befragungsdaten von etwa 250 Kurträgern und 320 Lehrkräften zusammengeführt werden. Die Befragungsdaten werden anschließend mit administrativen Daten des BAMF verknüpft.

Ergänzend zu den quantitativen Befragungen bieten qualitative Interviews zu ausgewählten Themenschwerpunkten einen vertieften Einblick in die individuellen Motivationslagen sowie persönlichen Erfahrungen und Einschätzungen von Kursteilnehmenden, Lehrkräften und Kursträgern. Begleitend werden Sekundärdaten (z.B. IAB-BAMF-SOEP-Befragung von Geflüchteten, Sonderauszüge der Integrationsgeschäftsdatei) analysiert.

Im Blitzvortrag werden die multimethodischen Ansätze beim Projekt EvIk sowie ausgewählte Ergebnisse vorgestellt. Dabei wird auf Resultate etwa zu den Themen Hürden beim Kurszugang, Kursverläufe und Aspekte der Digitalisierung eingegangen. Zudem wird die Vermittlung der Ergebnisse an den Auftraggeber BMI, an das BAMF als Förderer und Koordinator der Integrationskurse, in die Wissenschaft und in die (Fach-)Öffentlichkeit angesprochen.

Einbeziehung von Interessensvertretungen in (Gesetzes)Evaluationen – Reflexionen zu methodisch kontrolliertem Vorgehen anhand von Beispielen im Bereich Gleichstellung (Nikola Ornig, Lara Ebert)

Politische Interessensvertretungen können als Stakeholder im Rahmen von Evaluationen verschiedene und mehrfache, ggf. auch konfligierende, Rollen einnehmen: Interessenvertretungen können Auftraggebende sein oder zumindest an der Formulierung des Evaluationsauftrages beteiligt sein. Sie haben oftmals eine unterstützende Rolle, wenn sie z. B. den Zugang zur zu befragenden Akteurslandschaft ebnen. Sie sind selbst Datengebende, die Fakten und Einschätzungen zum Untersuchungsgegenstand liefern können. Sie werden als Expert:innen zur Validierung oder (kritischen) Kommentierung von Befunden herangezogen. Sie tragen als Multiplikator:innen Erkenntnisse aus Evaluationen weiter. Sie selbst oder ihre Mitglieder können unmittelbar von Maßnahmen, die auf Evaluationen folgen, betroffen sein.

Zentrale Fragestellungen des Beitrags

Anhand von Erfahrungen mit Gesetzesevaluationen bzw. gesetzlich vorgesehenen Evaluationen im Politikfeld Gleichstellung soll unser Beitrag reflektieren, welche Erhebungs- und Transferformate sich eignen, um Interessensvertretungen in diesen Mehrfachrollen und ihren auch politisch motivierten Beiträgen konstruktiv in Evaluationsprozesse und die Entwicklung von Handlungsempfehlungen für den Gesetzgeber einzubeziehen.

Unsere Praxisbeispiele beziehen sich auf Erfahrungen aus der Evaluation des Gesetzes für die gleichberechtigte Teilhabe von Frauen und Männern an Führungspositionen (FüPoG), in der u.a. Arbeitnehmenden- und Arbeitgebenden-Seite oftmals Zielstellungen teilten, konkrete Maßnahmen jedoch traditionell unterschiedlich bewerteten. Ein weiteres Beispiel liefert die Evaluation des Hilfetelefons „Gewalt gegen Frauen“, in welcher Interessensvertretungen gesellschaftlich stark marginalisierter Gruppen eine wichtige Rolle hatten.

Entlang der Projektbeispiele werden nachfolgende Fragen diskutiert:

  • Welche Vorteile ergaben sich für die Evaluation durch eine Beteiligung von Interessensvertretungen?
  • Wie erfolgte die Identifizierung / Auswahl von Interessensvertretungen (ggf. analog gesetzlicher Vorgaben)? Welche Typen an Interessensvertretungen waren vertreten?
  • Wie gestaltete sich die partizipatorische Einbindung in das Evaluationsvorhaben?

Die im Rahmen des Beitrags zur Reflexion stehenden Methoden einer partizipatorischen Evaluation beziehen sich u.a. auf ein Fachforum, Fokusgruppendiskussionen, Fallstudien (jeweils Evaluation des FüPoG), einen Beirat (Evaluation des Hilfetelefons) sowie explorative und vertiefende Interviews (beide Evaluationen).

Evaluierung von ‚systems strengthening‘ Programmen: Wie können Evaluierungen zu einem nachhaltigen, transformativen Wandel beitragen? (Katharina Welle)

Programmen, die an der „Systemstärkung“ (systems strengthening) arbeiten, wird das Potenzial zugesprochen, nachhaltige Veränderungen zu verankern. Die Evaluierung solcher Programme ist entscheidend, um mehr über die Bedingungen für den Umsetzungserfolg zu erfahren. Was haben wir also darüber gelernt, wie man sie evaluiert?

Itad hat an einer Reihe von Evaluierungen gearbeitet, die sich mit der Systemstärkung (systems strengthening) im Gesundheits-, WASH- und Finanzsektor befassen. Zum Beispiel hatte das SusWASH (sustainable water, sanitation and hygiene) Programm von WaterAid das Ziel, Dienstleistungen im Bereich Wasser, sanitäre Anlagen und Hygiene nachhaltiger zu machen und allen Teilen der Bevölkerung zu erschliessen. Dazu hat WaterAid einerseits traditionel Dienstleistungen geliefert, aber auch daran gearbeitet, die unterliegenden Systeme zu stärken - zum Beispiel durch Unterstützung in der lokalen Planung und Kostenberechnung von Dienstleistungen oder etwa der Stärkung von Frauen in lokalen Komitees.

Ziel dieses Referats ist es, darüber nachzudenken, was gut funktioniert und was bei der Evaluierung von Programmen verbessert werden könnte, die innovativ und komplex sind. Dazu benötigen wir nicht unbedingt neue Evaluierungsmethoden; es ist aber hilfreich Folgendes zu beachten:

Datenanforderungen: Programme zu ,systems strengthening‘ müssen einen konsistenten Satz von Daten zur Bewertung von Änderungen im System aufbauen. Wie lässt sich das passend „einpacken“?

• Beitrag zur Veränderung: Die Messung des Beitrags der Initiative zur Veränderung unterscheidet sich von der Bewertung der Veränderung selbst. Welche Methoden können verwendet werden, um hier zu unterscheiden? Welche Rolle spielen hierbei die Machtverhaeltnisse zwischen Akteuren?

Systemwechsel als Reise: Angesichts der Tatsache, dass ,systems strengthening‘ oft eine holprige Reise ist, kann ein entwicklungsbezogener Bewertungsansatz (developmental evaluation) gut geeignet sein. Welche Elemente sind geeignet, und wo können wir von anderen Ansätzen lernen?

Die sanftere Seite des Wandels: Ein oft vernachlässigter Aspekt der ,systems strentgthening‘ Arbeit ist die Bedeutung von Koalitionen und einer starken Führung, um Veränderungen herbeizuführen. Die Analyse sozialer Netzwerke ist hier eine Option, aber gibt es andere, benutzerfreundlichere Mittel?


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

„Die Ableitung von Empfehlungen aus den Befunden eines Evaluationsprojekts als Ansatz zur Einflussnahme auf politische Diskussions- und Entscheidungsprozesse – Erfahrungen und Erkenntnisse aus einem Projekt der Berufsbildung“

Kirsten Vollmer

Bundesinstitut für Berufsbildung (BIBB), Deutschland



Heterogene Angebote, heterogene Zielgruppe: Die Herausforderung der Lehrevaluation im Studium fundamentale

Svenja Hartwig

Universität Witten/Herdecke, Deutschland



Projekt „Evaluation der Integrationskurse“

Christian Babka von Gostomski

Bundesamt für Migration und Flüchtlinge, Forschungsfeld II - Integration und gesellschaftlicher Zusammenhalt, Deutschland



Einbeziehung von Interessensvertretungen in (Gesetzes)Evaluationen – Reflexionen zu methodisch kontrolliertem Vorgehen anhand von Beispielen im Bereich Gleichstellung

Nikola Ornig, Lara Ebert

Kienbaum Consultants International GmbH, Deutschland



Evaluierung von ‚systems strengthening‘ Programmen: Wie können Evaluierungen zu einem nachhaltigen, transformativen Wandel beitragen?

Katharina Welle

Itad Ltd. / Aguaconsult



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany