Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
D6: Evaluation aus der Ferne: Remote Evaluationen – Chancen und Herausforderungen
Zeit:
Freitag, 17.09.2021:
12:45 - 14:15

Leitung der Sitzung: Dr. Jan Tobias Polak, DEval

Gastgeber: AK Methoden in der Evaluation


Zusammenfassung der Sitzung

Übergreifende Problemstellung:

Die pandemiebedingten Einschränkungen stellen Evaluationen vor die Herausforderung, Datenerhebung und -analyse oft nicht am Ort der Umsetzung des Evaluationsgegenstands durchführen zu können. Die Session „Evaluation aus der Ferne“ setzt sich mit Chancen und Herausforderungen von Remote Evaluationen auseinander und legt dabei einen Schwerpunkt auf Evaluationsmethoden.

Die Session ist durch drei Vorträge strukturiert, die exemplarische Beispiele für Remote Evaluierungen vorstellen. Im Rahmen dieser Vorträge werden Möglichkeiten vorgestellt, wie Ansprüche einer menschenrechtsbasierten Evaluierung auf die Entfernung durchgeführt werden können, welche Potenziale dem virtuellen Klassenraum als neuem Feldzugang im Rahmen von Schulevaluationen innewohnen sowie welche Auswirkungen die Corona-Pandemie auf die Evaluation von Förderprogrammen hat.

Zusammenfassung der Einzelbeiträge:

Den Auftakt bildet der Vortrag „Menschenrechtsbasiert auf Distanz evaluieren: Chancen und Herausforderungen“ von Lena Taube und Angela Heucher (Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit, DEval). Der Beitrag zeigt anhand eines Beispiels, wie menschenrechtsbasierte Evaluierungen auf Distanz gelingen können und welche Herausforderungen für Evaluierende bestehen. Methodische Grundlage bilden Fallstudien, die im Rahmen der Evaluation „Menschenrechte in der deutschen Entwicklungspolitik“ im Globalen Süden auf Distanz durchgeführt werden.

Im Vortrag „Datenerhebung im virtuellen Klassenraum als neuer Feldzugang” stellt Christopher Pabst (Forschungsinstitut Betriebliche Bildung) alternative Methoden zur Klassenraumbefragung von Schüler*innen vor. Vor dem Hintergrund der verstärkten Nutzung von digitalen Kursformaten entstand ein innovativer methodischer Ansatz, der die Vorteile von Klassenraumbefragungen und Onlineerhebungen kombiniert. Der Beitrag beleuchtet, welche Chancen die Erhebung im virtuellen Klassenraum für Evaluationen bietet, welche Besonderheiten bei der Organisation zu berücksichtigen und welche Grenzen zu beachten sind.

Im abschließenden Vortrag „Evaluation von Förderprogrammen im Wandel – Inwiefern beeinflusst die Corona-Pandemie laufende Evaluationen von gesetzlichen Förderprogrammen?“ setzen sich Carolin Moeller und Franziska Hoerth (Deloitte) mit Auswirkungen der Covid-19-Pandemie auf die Evaluation von Förderprogrammen auseinander. Anhand eines Praxisbeispiels werden Chancen und Herausforderungen bei begleitenden Evaluationen von Förderprogrammen im Kontext der Corona-Pandemie erörtert und Methoden vorgestellt, die eine Evaluation auf die Entfernung ermöglichen.

 

Schlagwörter: Evaluationsmethoden, remote evaluation, Evaluierung auf Distanz


Präsentationen

Menschenrechtsbasiert auf Distanz evaluieren: Chancen und Herausforderungen

Lena Taube, Angela Heucher, Tobias Polak, Lea Smidt

DEval, Deutschland

Wandel durch Evaluation anzustreben, ist ein Wesensmerkmal menschenrechtsbasierter Evaluationen (MRBE). MRBE zeichnen sich durch ihre Fokussierung auf Rechteinhabende, insbesondere strukturell benachteiligte Gruppen aus. Schon durch die Verwendung von Begrifflichkeiten wie „Rechteinhabende“ wird der angestrebte Wandel deutlich: Menschen werden nicht mehr als Empfänger*innen oder als Zielgruppe gesehen, sondern als Rechtssubjekte, die einen Anspruch darauf haben, dass Leistungen erbracht und Verfahrensregeln umgesetzt werden. Hierfür sind sogenannte Pflichtentragende, vor allem Staaten, verantwortlich.

MRBE berücksichtigen über den gesamten Evaluationsprozess hinweg menschenrechtliche Standards und Prinzipien, z.B. die Zugänglichkeit von Maßnahmen zur Bereitstellung von Leistungen oder die Partizipation von Rechteinhabenden im Prozessverlauf. Mit MRBE werden Evaluationsgegenstände aus vielfältigen Perspektiven untersucht. So soll eine gleichberechtigtere Position unterschiedlicher Akteur*innen während des Evaluationsprozesses und darüber hinaus gewährleistet werden. Lernen ist dabei eines der wichtigsten Ziele von MRBE – die Ergebnisse sollen für alle Beteiligten nachhaltig nützlich sein und zu Wandel durch Evaluation führen.

Auch der Wandel der Evaluation wird bei MRBE deutlich. Die praktische Umsetzung von MRBE stellt Evaluierende aller Fachrichtungen generell vor Herausforderungen, etwa mit Blick auf Aufwand, interkulturelle Kompetenz oder Kontextwissen. Vor allem der enge Kontakt zwischen Evaluierenden und Rechteinhabenden ist voraussetzungsvoll, um Lernen und Wandel als Ziele von MRBE zu ermöglichen. Müssen nationale oder internationale Evaluationen auf Distanz durchgeführt werden, etwa aufgrund von Mobilitäts- oder Kontakteinschränkungen während einer Pandemie, werden Herausforderungen an MRBE zusätzlich erhöht.

Wandel durch Evaluation und Wandel der Evaluation zeigen sich somit gleichermaßen in MRBE. Vor diesem Hintergrund stellt sich die Frage: Wie können MRBE auf Distanz durchgeführt werden und welchen Herausforderungen stehen Evaluierende gegenüber? Grundlage für die Beantwortung dieser Frage sind drei Fallstudien, die im Rahmen der Evaluation „Menschenrechte in der deutschen Entwicklungspolitik“ des Deutschen Evaluierungsinstituts der Entwicklungszusammenarbeit (DEval) im Globalen Süden auf Distanz durchgeführt werden. Ziel des Vortrags ist es, Erfahrungen aus den Fallstudien systematisch aufzubereiten, um sie für Evaluierende nutzbar zu machen.



Datenerhebung im virtuellen Klassenraum als neuer Feldzugang

Christopher Pabst, Kristin Hecker

Forschungsinstitut Betriebliche Bildung, Deutschland

Eine bewährte Erhebungsmethode im Rahmen von Evaluationen, die Personen in formalen Lernprozessen fokussieren, wie z.B. Schüler*innen oder Teilnehmende an Weiterbildungen, ist die Klassenraumbefragung. Sie bietet Vorteile wie z.B. eine vertraute Umgebung für die Zielpersonen und die Möglichkeit einer direkten Unterstützung im Falle von Unklarheiten bei gleichzeitig guter Kontrolle der Erhebungssituation. Bedingt durch die Corona-Krise ist diese Methode derzeit nicht oder nur begrenzt einsetzbar, da Kontaktbeschränkungen den Zugang zu Kursen und Klassenräumen begrenzen. Alternativ kann auf Onlinebefragungen zurückgegriffen werden, deren Stärken in einer Kosten- und Zeitersparnis sowie einer intelligenten Filterführung liegen, die aber Schwächen beim Feldzugang und den Rücklaufquoten aufweisen und stärkeren Selektionseffekten unterliegen.

Anbieter von Bildungsangeboten müssen aktuell verstärkt auf digitale Kursformate ausweichen und z.B. im virtuellen Klassenraum unterrichten. Vor diesem Hintergrund entstand im Rahmen einer Evaluation zur Sprachförderung ein innovativer methodischer Ansatz, der die Vorteile von Klassenraumbefragungen und Onlineerhebungen kombiniert. Der vorgesehene Beitrag beleuchtet, welche Chancen die Erhebung im virtuellen Klassenraum für Evaluationen bietet, welche Besonderheiten bei der Organisation zu berücksichtigen und welche Grenzen zu beachten sind. So bestehen bspw. hohe technische Voraussetzungen und die Befragten werden hinsichtlich des Ablaufs und Befragungsdurchführung besonders gefordert. Zusätzlich erfordert die Komplexität der Methode eine exakte Planung und eine Schulung der Lehrkräfte im Vorfeld der Erhebung.

Auf Grundlage der Erfahrungen, die das Projekt-Team beim Einsatz der Erhebungsmethode sammelte, werden Antworten auf die Frage, unter welchen Voraussetzungen virtuelle Klassenraumbefragungen im Rahmen von Evaluationen durchgeführt werden können, vorgestellt. Zur Einschätzung der Reliabilität und Validität wird darüber hinaus im Sinne eines Kontrollgruppenvergleichs ein Teil der Interviews im klassischen Sinn als Präsenzerhebung in Klassenräumen durchgeführt, um zu ermitteln, ob sich die Antwortmuster im Klassenzimmer von jenen im virtuellen Klassenraum unterscheiden. Die Ergebnisse aus diesem Vergleich fließen als Diskussionsgrundlage in die Präsentation zum Vortrag ein.



Evaluationen im Wandel – Inwiefern beeinflusst die Corona-Pandemie laufende Evaluationen? Eine Einordnung am Beispiel einer Evaluation eines gesetzlichen Förderprogramms.

Carolin Moeller, Franziska Hoerth

Deloitte, Deutschland

Die sich seit Anfang 2020 schnell ausbreitende Corona-Pandemie hat nicht nur öffentliche Maßnahmen, sondern auch deren laufenden Evaluationen beeinflusst. Die pandemiebedingten Geschäftsschließungen, Reisebeschränkungen und Kontaktverbote führen zu zahlreichen sozialen, psychischen, bildungspolitischen und wirtschaftlichen Auswirkungen. Diese Auswirkungen betreffen nicht nur Bürger und Unternehmen direkt, sondern auch gesetzliche Maßnahmen wie z.B. Förderprogramme, die daher ebenso sehr von der Pandemie betroffen sind. Im Fokus stehen Fragestellungen wie: Können die ursprünglichen Ziele der Evaluation erreicht werden? Wie können Daten trotz Kontaktbeschränkungen erhoben werden?

Für eine Evaluation ist die Erhebung von verlässlichen Daten unabdingbar. Sollte die Erhebung nicht oder nur eingeschränkt möglich sein, könnte dies die Effektivität einer laufenden Evaluation und deren Ergebnisse erheblich mindern. Da diverse Evaluationsmethoden wie die Vor-Ort-Begleitung und persönliche Interviews jedoch nicht bzw. nur stark eingeschränkt möglich sind, stellen sich zwei Fragen: Wie kann diese besondere Pandemiesituation inhaltlich adressiert werden? Zweitens, inwiefern kann sichergestellt werden, dass die Erhebung dieser Daten dennoch präzise und zuverlässig erfolgt?

Im Vortrag werden daher die Chancen und Herausforderungen bei begleitenden Evaluationen im Kontext der Corona-Pandemie erörtert. Anhand eines Praxisbeispiels, einer Begleitevaluation eines Förderprogramms in Deutschland, wird zunächst die neue Situation beschrieben und anschließend die Herausforderungen und Chancen dieses dynamischen Krisenereignisses aufgezeigt. Diese werden im Lichte der aktuellen methodischen Debatten wie zur Remote Evaluation betrachtet. Am Beispiel dieser Begleitevaluation wird die gewählte Datenerhebung und deren Anpassungen an Corona vorgestellt und mit einer alternativen Datenerhebungsmethode, dem KI-Tool Deep View, verglichen: Es wird herausgearbeitet, wie KI-Datenerhebungs- und -auswertungstools theoretisch dazu beitragen, Datenanalysen zu ergänzen und Synergien zu herkömmlichen Erhebungsmethoden zu erzeugen, indem z.B. große Datenmengen schnell analysiert und Stimmungen und Meinungsspektren erfasst werden können. Zur inhaltlichen Ausrichtung von Begleitevaluationen wird kurz vorgestellt, wie in Krisen Umstrukturierungsprozesse zielgerichtet analysiert werden können und warum es wichtig ist, deren Effekte genau zu erfassen und in der Evaluation entsprechend zu bewerten.