Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
D7: Blitzvortragssession und Diskussionsforum
Zeit:
Freitag, 17.09.2021:
12:45 - 14:15

Leitung der Sitzung: Jessica Prigge, Universität Kassel

Zusammenfassung der Sitzung

5 Blitzvorträge:

Entwicklung und Validierung einer Kurzskala zur Einschätzung der Akzeptanz von Schulentwicklungsprojekten (A-SEW)

Matteo Carmignola, Franz Hofmann, Burkhard Gniewosz

Universität Salzburg, Österreich

In diesem Blitzvortrag werden die Entwicklung, Validierung und der Einsatz einer neuentwickelten Skala für Schulentwicklungsprojekte präsentiert, welche die Akzeptanz von Entwicklungsprojekten bei Lehrpersonen misst, um auf dieser Basis vielfältige Einsatzbereiche diskutieren zu können.

 

PrEval - Evaluationsdesigns für Präventionsmaßnahmen

Sina Tultschinetski, Julian Junk

Leibniz-Institut Hessische Stiftung Friedens- und Konfliktforschung, Deutschland

Im Blitzvortrag wird das Projekt „PrEval – Evaluationsdesigns für Präventionsmaßnahmen: Multimethodische Ansätze zur Wirkungsermittlung und Qualitätssicherung in der Extremismusprävention sowie den Schnittstellen zur Gewaltprävention und politischen Bildung“ vorgestellt, um besondere Herausforderungen im Feld skizzieren zu können.

 

Digitalisierungstrend vs. Digitalisierungsschock – Evaluation im Hochschulkontext zu Zeiten von Corona

Elisa Knödler, Anna von Werthern

Ludwig-Maximilians-Universität München, Deutschland

Im Blitzvortrag wird illustriert, wie eine bereits erarbeitete Programmtheorie zu einem in Präsenz- und Selbstlernphasen gegliederten Programm (TutorPlus) als Grundlage für die Wirklogik und damit ebenso für eine (programmtheoriebasierte) Evaluation eines anderen Programms zur Verbesserung der digitalen Lehre an der Ludwig-Maximilans-Universität herangezogen werden kann, um Potentiale dieses Vorgehens aufzuzeigen.

 

Kompetenzentwicklung von Future Work Skills im Rahmen eines interdisziplinären Wahlsemesters – ein Praxisbericht aus der Hochschulevaluation

Alexandra Tulla, Marlene Cermak

FH St. Pölten, Österreich

Illustriert werden soll anhand der Evaluation des Wahlsemesters iLab für alle Studierende an der Fachhochschule St. Pölten, wie innovative Impulse herausgearbeitet sowie Fragen nach Kompetenzentwicklungen beantwortet werden können.

 

Begleitforschung „Plastic Pirates – Go Europe!“. Eine Blaupause für Forschungsdesigns in dynamisch wachsenden Settings

Valerie Knapp, Vanessa van den Bogaert, Joachim Wirth

Ruhr-Universität Bochum, Deutschland

Anhand der Begleitforschung des europäischen Projekts „Plastic Pirates“, welches bürgerschaftlich-wissenschaftliche Zusammenarbeit stärken soll, soll hier demonstriert werden, inwieweit eine Blaupause entsteht: Zum einen, wie Wirkungen von Citizen Science in streng kontrollierten experimentellen Designs empirisch überprüft werden können und zum anderen eben jene Wirkungen in großen, internationalen Stichproben (large-scale) mit weniger streng kontrollierten Untersuchungsdesigns sichtbar gemacht werden können.

----------------------------------------------------------------------------------------------

Diskussionsforum

Wandel der Evaluation in der internationalen Zusammenarbeit – neue Ansprüche an Wissenschaftlichkeit

Bernward Causemann, freier Berater

Ines Freier, Michaela Raab, freie Gutachterinnen

Ausgeleuchtet wird in diesem Diskussionsforum [JP1] das Spannungsfeld von Evaluationen zwischen Standardisierung und Normierung im Sinne einer auf diese Weise verstandenen Wissenschaftlichkeit auf der einen Seite sowie sich weiter ausdifferenzierende Ansprüche an die Nützlichkeit auf der anderen Seite.

Drei Schwerpunkte werden über drei Impulsreferate gesetzt, woran im Anschluss eine Diskussion möglich ist: Wandel in den Ansprüchen an Evaluierungsprozesse (1), die ‚rigorose Wirkungsevaluation‘ als ideologisches Missverständnis (2) und Zum Verhältnis von Wissenschaft und Evaluation in der Internationalen Zusammenarbeit (3).


Externe Ressource:
Präsentationen

Entwicklung und Validierung einer Kurzskala zur Einschätzung der Akzeptanz von Schulentwicklungsprojekten (A-SEW)

Matteo Carmignola, Franz Hofmann, Burkhard Gniewosz

Universität Salzburg, Österreich

Schulentwicklungsarbeit und Reformprojekte sind im Alltag von Lehrpersonen sehr präsent, obgleich nicht immer hohe Akzeptanz und Teilnahmemotivation für die Entwicklungsinitiativen berichtet werden. Aus der Schulentwicklungsforschung ist bekannt, dass der Implementationserfolg von Innovationen maßgeblich von den Charakteristika des Projektes und der Akzeptanz der beteiligten Personen abhängt. In diesem Blitzvortrag werden die Entwicklung, die Validierung und der Einsatz einer neuentwickelten Akzeptanzskala für Schulentwicklungsprojekte präsentiert, welche auf Grundlage von drei Dimensionen (Sinnhaftigkeit, Zweckmäßigkeit und Praktikabilität) die Akzeptanz von Entwicklungsprojekten bei Lehrpersonen misst. Das Instrument wurde für eine Stichprobe von n = 1453 Lehrpersonen im Rahmen eines nationalen Projektes für Schulen mit besonderen Herausforderungen umfassend validiert. Dabei bestätigt der Modellvergleich eine Drei-Faktoren-Lösung und attestiert der Kurzskala eine Messinvarianz für die Variablen Geschlecht, Schulform und Berufserfahrung. Die Akzeptanzskala kann sowohl in large-scale Untersuchungen bei überregionalen Reformprojekten, bei einem Monitoring an Einzelschulen ebenso wie auch in Kombination mit rekonstruktiven oder designbasierten Fallstudien als quantitative Datenquelle eingesetzt werden.



PrEval - Evaluationsdesigns für Präventionsmaßnahmen

Sina Tultschinetski, Julian Junk

Leibniz-Institut Hessische Stiftung Friedens- und Konfliktforschung, Deutschland

In der deutschen Extremismusprävention existieren vielfältige Präventionsansätze und -maßnahmen, die von ebenso vielfältigen Ansätzen und Bemühungen in der Qualitätssicherung begleitet werden. Qualitätssicherung und Evaluation stehen dabei spezifischen Herausforderungen gegenüber, die unter anderem auf diese Vielfalt in der Landschaft zurückzuführen sind. Einerseits zweifelsohne eine zentrale Stärke, bringt die Vielfalt andererseits viele verschiedene Perspektiven mit sich, die es zu vereinen gilt. Fragen nach Wirkung und gewinnbringenden Kooperationsprozessen zwischen verschiedenen Akteuren erfordern insbesondere in diesem gesellschaftspolitisch hochsensiblen Bereich mehrdimensionale Evaluationsansätze.

Evaluation soll die (Weiter-)Entwicklung und Umsetzung von Maßnahmen auf wissenschaftlicher Grundlage unterstützen. Dies kann jedoch nur gelingen, wenn Evaluierte und Evaluierende über ein gemeinsames Problem- und Zielverständnis verfügen, das sowohl die Bedarfe der Praxis als auch wissenschaftliche Qualitätskriterien einschließt und der zunehmenden Professionalisierung der Präventionspraxis Rechnung trägt. Evaluationen sollten daher partizipativ und partnerschaftlich statt „top-down“ sowie multimethodisch und gegenstandsangemessen angelegt sein.

Im Blitzvortrag wird das Projekt „PrEval – Evaluationsdesigns für Präventionsmaßnahmen: Multimethodische Ansätze zur Wirkungsermittlung und Qualitätssicherung in der Extremismusprävention sowie den Schnittstellen zur Gewaltprävention und politischen Bildung“ vorgestellt. Ziel von PrEval ist es unter anderem, Möglichkeiten und Grenzen der Evaluation und wissenschaftlichen Begleitung von Extremismuspäventionsmaßnahmen auszuloten, indem in engem Dialog mit verschiedenen Präventionsakteuren aus Verwaltung, Wissenschaft und Fachpraxis Evaluationsbedarfe und -kapazitäten in der Extremismusprävention in Deutschland erhoben sowie multimethodische Evaluationsdesigns entwickelt und im Rahmen von Pilotstudien teilweise erprobt werden.



Digitalisierungstrend vs. Digitalisierungsschock – Evaluation im Hochschulkontext zu Zeiten von Corona

Elisa Knödler, Anna von Werthern

LMU München, Deutschland

Wie auch in anderen Bereichen befolgt die Ludwig-Maximilians-Universität (LMU) München bei dem zukunftsweisenden Thema der Digitalisierung die Strategie der dezentralen Steuerung. Neben wenigen gesamtuniversitären Unterstützungsangeboten (u. a. eUniversity, Universitas Digitalis), wird der Prozess über die Fakultäten gesteuert. Dementsprechend ist die hochschulweite Lage hinsichtlich der Digitalisierung der Lehre sehr heterogen und abhängig von der jeweiligen Fachkultur.

Durch die Coronapandemie verschieben sich jedoch die Koordinaten enorm: LMU-weit findet ein (erzwungener) Digitalisierungsboom statt.

Dies erfordert sowohl in der Lehre als auch im Rahmen anderer universitärer Programme/Projekte eine Anpassung von Evaluationsaktivitäten. Während sich die Lehrveranstaltungsevaluation häufig auf die Adaption vorhandener Fragebögen beschränkt, stehen komplexe Programme/Projekte vor größeren Herausforderungen.

Es zeigt sich, dass der Ansatz der Theoriebasierten Evaluation (TBE) auch in diesem Kontext eine nachhaltige Herangehensweise ist. Wirkannahmen in Gestalt von mehr oder weniger ausdifferenzierten Programmtheorien (PT) lassen sich gut in iterativen Schleifen anreichern und somit an veränderte Rahmenbedingungen und hinzukommende Einflüsse anpassen. Gemäß der Grundannahme der theoriebasierten Evaluation verkörpert jedes Programm (mindestens) eine Theorie (Pawson 2003), die jedoch in der Praxis häufig nicht expliziert vorliegt. Ebendiese Explikation ist der essentielle Schritt der TBE (Chen 1990). Der Aufwand und die hohen Ressourcen zahlen sich besonders dann aus, wenn eine bereits generierte PT einem neuen Projekt zugrunde gelegt werden kann und lediglich eine Adaption vonnöten ist.

Im Blitzvortrag wird illustriert, wie die bestehende PT des in Präsenz- und Selbstlernphasen gegliederten Programms TutorPlus (LMU, PROFiL) als Grundlage für die Wirklogik und damit auch für die Evaluation eines anderen Programms ähnlicher Größenordnung zur Verbesserung der digitalen Lehre an der LMU herangezogen wird. Es zeigt sich, dass der iterativ angelegte Adaptionsprozess nicht nur eine theoretisch fundierte und empirisch belastbare Grundlage für die Programmevaluation bietet, sondern zudem ein enormer Mehrwert im Sinne von nachhaltigem Wissensmanagement entsteht wie auch ein hoher Prozessnutzen für das neue Programm on the way generiert werden kann.



Kompetenzentwicklung von Future Work Skills im Rahmen eines interdisziplinären Wahlsemesters – ein Praxisbericht aus der Hochschulevaluation

Alexandra Tulla, Marlene Cermak

FH St. Pölten, Österreich

Mit dem iLab (Interdisciplinary Lab) bietet die FH St. Pölten ein innovatives – mit dem Ars Docendi ausgezeichnetes – Wahlsemester an, in dem sich Studierende in interdisziplinären Teams mit einem realen Projekt beschäftigen. Für dieses Lernszenario ist ein Evaluationskonzept entwickelt worden.

In den Dimensionen Struktur-, Prozess- und Ergebnisqualität des Modells von Donabedian (1980) weist das iLab innovative Aspekte auf: Auf Strukturebene sind das interdisziplinäre Wahlmodul und das divergierende Vorwissen der Teilnehmenden zu betonen. Auf Prozessebene ist die Funktion der Lehrenden als Begleitperson und die Interaktion in der Peer-Gruppe besonders. Auf Ergebnisebene ist es die Leistungsbeurteilung: Die Studierenden bewerten das Ausmaß ihres Kompetenzerwerbs selbst. Geeint werden diese innovativen Impulse durch den Anspruch, Future Work Skills zu vermitteln. Welche durch den Wandel der Arbeitsmärkte zu einem wesentlichen Erfolgsfaktor für Absolvent*innen von Fachhochschulen werden.[1]

Das Panel-Design soll durch die Messung des Kompetenzerwerbs die Dimension der Learning Outcomes stärker berücksichtigen. So wird der Anspruch des iLab eingelöst, den Lernprozess gegenüber der Lehrgestaltung in den Vordergrund zu rücken. Die Kompetenzorientierung des gewählten Evaluationsdesigns spiegelt auch den Paradigmenwechsel in der Steuerungsorientierung des gesamten Bildungssystems (von „Inputs“ auf „Outcomes/Outputs“) wider.[2]

Zum Einsatz kommt ein Item-Katalog, bestehend aus 25 Selbstwirksamkeits-Statements, zu Beginn und Abschluss des iLab. Die Befragung ist auf selbstbezogene Auskünfte der Teilnehmenden angewiesen. Da Selbstreflexion ein inhärentes Element des iLab darstellt, wird dieser methodischen Schwäche ein Stück weit entgegengewirkt. Dieses Pilotprojekt soll zur Weiterentwicklung der zentralen Lehrveranstaltungs-Evaluierung beitragen.

[1] Wörwag, S., Cloots, A. (2018). Gut zu wissen, was uns in der New Work erwartet. S. Wörwag, A. Cloots (Hrsg.), Zukunft der Arbeit. Perspektive Mensch. Aktuelle Forschungserkenntnisse und Good Practices (S.3-29). Springer Fachverlag.

[2] Kremer, M. (2010). Kompetenzorientierung setzt valide Kompetenzmessung voraus. Berufliche Kompetenzen messen: Zeitschrift des Bundesinstituts für Berufsbildung, 39 (1), 3.



Begleitforschung „Plastic Pirates – Go Europe!“. Eine Blaupause für Forschungsdesigns in dynamisch wachsenden Settings

Valerie Knapp, Vanessa van den Bogaert, Joachim Wirth

Ruhr-Universität Bochum, Deutschland

Begleitforschung – Status Quo

Die wachsende Beteiligung von Bürgerforschenden an wissenschaftlichen Forschungsvorhaben geht einher mit der Etablierung von Citizen Science in Gesellschaft und Wissenschaft. Dennoch stehen die Evaluations- und Begleitforschung von Citizen-Science-Vorhaben – einschließlich der Entwicklung von Qualitätskriterien und Indikatoren – noch am Anfang und orientieren sich teilweise nur ungenügend an wissenschaftlichen Standards der empirischen Forschung. Das Begleitforschungsvorhaben der Citizen-Science-Aktion „Plastic Pirates – Go Europe!“ leistet hier einen Beitrag.

Gegenstand – Plastic Pirates – Go Europe!

Die Aktion „Plastic Pirates – Go Europe!“ ist eine Citizen-Science-Initiative, die im Zuge der Trio-Präsidentschaft im Rat der Europäischen Union in Deutschland, Portugal und Slowenien umgesetzt wird. 2020–21 erheben Jugendliche in ihren jeweiligen Ländern Daten über den Eintrag von Mikro- und Makro-Plastik über Fließgewässer in die Meere und Ozeane und verzeichnen diese auf einer digitalen Karte im Internet. Ziele der Aktion sind die Stärkung der wissenschaftlichen Zusammenarbeit in Europa, die Förderung bürgerwissenschaftlichen Engagements sowie die Sensibilisierung für einen bewussten und nachhaltigen Umgang mit der Umwelt.

Blaupause – Forschungsdesign

Ziel der Begleitforschung ist es, Erkenntnisse über die Teilnehmenden und die Wirkung der Teilnahme an der Citizen-Science-Aktion auf die Teilnehmenden zu gewinnen. Um kausale Effekte in großangelegten Citizen-Science-Projekten messen zu können, wurde ein Forschungsdesign mit aufeinander aufbauenden Phasen entworfen, welches die Untersuchung großer Stichproben mit Wirkstudien in kontrollierten experimentellen Settings verbindet. Es wird der Frage nachgegangen, ob die wissentliche Teilnahme (UV) an der Citizen-Science-Aktion anhaltende Effekte z. B. auf das Interesse (AV) und die motivationale Qualität der Schüler*innen (AV) hat. Erfasst werden neben dem Interesse von Schüler*innen am Projektthema und deren Motivation, wissenschaftliche Arbeitsweisen anzuwenden u. a. auch ein möglicher themenspezifischer Wissenszuwachs. Mit dem Vorhaben der Begleitforschung entsteht eine Blaupause dafür, wie zum einen Wirkungen von Citizen Science in streng kontrollierten experimentellen Designs empirisch überprüft werden können und zum anderen eben jene Wirkungen in großen, internationalen Stichproben (large-scale) mit weniger streng kontrollierten Untersuchungsdesigns sichtbar gemacht werden können.



Wandel der Evaluation in der internationalen Zusammenarbeit – neue Ansprüche an Wissenschaftlichkeit

Bernward Causemann1, Ines Freier2, Michaela Raab2

1Freier Berater; 2Freie Gutachterin

Übergreifende Problemstellung

Das Tagungsthema greift das Thema der (potenziellen) Rolle von Evaluation als Moderatorin und Gestalterin in Veränderungsprozessen auf – also die beratende Funktion von Evaluation.

Der Vortrag widmet sich dem Spannungsfeld zwischen

(a) den aktuellen Ansprüchen an Evaluation in Teilbereichen der deutschen Entwicklungszusammenarbeit – Vorgaben, alle OECD/DAC-Kriterien anhand standardisierter, häufig kleinteiliger Fragen zu behandeln, Einengung der Beobachtungsfelder, um in reduzierten Bereichen möglichst robuste Daten erheben zu können, normierten Berichtsformaten, engem Verständnis von wissenschaftlichem Vorgehen, Professionalisierung aufgefasst als Akademisierung, versus

(b) der Vielfalt der Rollen der Evaluation und insbesondere ihrer Beratungsrolle – bleibt sie bestehen oder verändert sie sich damit? Welches Verhältnis zur Wissenschaft zeigt sich in diesen Rollen?

Wie gehen wir als Evaluierende und Auftraggeber:innen damit um? Anregungen zum Umgang mit diesem Spannungsfeld.

Zusammenfassung des Vortrages

Format: Drei fünfminütige Impulsreferate und anschließende Diskussion im Plenum und/oder Kleingruppen (abhängig von Besucher:innenzahl)

Input Michaela Raab, freie Gutachterin: Wandel in den Ansprüchen an Evaluationsprozesse - Es wird angesichts enger Vorstellungen von Wissenschaftlichkeit schwieriger, angemessene Ansätze der Evaluation zu wählen, um relevante Fragen zu untersuchen

Input Bernward Causemann, freier Berater: „Rigorose Wirkungsevaluation“ als ideologisches Missverständnis - Woher kommt die Vorstellung, Wirkungsuntersuchungen anhand eines engen Spektrums von Methoden (z.B. mit Vergleichsgruppen) seien die beste Wahl? Wann sind sie es wirklich, wann nicht? Und was sagt diese Vorstellung von rigour über das Wissenschaftsverständnis aus?

Input Ines Freier, freier Gutachterin: Zum Verhältnis von Wissenschaft und Evaluation in der Internationalen Zusammenarbeit - Was bringt der Trend zum wissenschaftlichen Vorgehen in der Evaluation an Mehrwert? Trägt Evaluation zum Lernen und zum Wandel in der internationalen Zusammenarbeit bei?