Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
C4: Herausforderungen der Evidenzbasierung
Zeit:
Freitag, 16.09.2022:
9:00 - 10:30

Leitung der Sitzung: Thomas Heskia, Leuphana Universität Lüneburg

Zusammenfassung der Sitzung

Programmevaluationen: wieviel wissenschaftliche Evidenz ist möglich und wieviel nötig? Eine Erörterung aus praktischer Perspektive (Meike Olbrecht)

Das Wort „Evidenz“ wird gerne als Synonym gebraucht, für all das, was als „sicher“ und „unstrittig“ angesehen wird. Wissenschaftlich evidenzbasiertes Wissen wird in Organisationen häufig gefordert, als Grundlage, um wichtige Entscheidungen zu treffen. Evidentes soll „die Garantie seiner Wahrheit außer sich haben und deshalb als fester Grund der Zurückweisung skeptischer Einwände gelten können“ (Sandkühler 2011, S.35). In der Politik wird die Forderung nach wissenschaftlich evidenten Ergebnissen gerne kombiniert mit dem Anspruch auf Kürze und Eindeutigkeit (Seidel/Verbeek/Fessel/Meer 2021, S.62). Dies lässt sich wiederum teilweise nur schwer vereinbaren mit der Vielschichtigkeit evidenzbasierter Antworten. Im Rahmen dieses Spannungsgeld stellt sich die Frage: wieviel wissenschaftliche Evidenz bei Evaluierungen nötig ist, damit Ergebnisse von verschiedenen Stakeholdern genutzt werden können? Und welches Verständnis von Evidenz angelegt werden sollte?

In diesem Vortrag soll der Frage nachgegangen werden, wie Evaluierungen und ihre Ergebnisse sich im Spannungsfeld zwischen den Forderungen nach eindeutigen Handlungsempfehlungen auf der einen und wissenschaftlich begründeter Evidenz auf der anderen Seite verorten können. Dies erfolgt aus Sicht einer Praktikerin, die externe Evaluationen für die Alexander von Humboldt-Stiftung beauftragt und betreut sowie interne Evaluationen durchführt.

Literatur:

  • Sandkühler, H. J. (2011). Kritik der Evidenz. In Bellmann, J. (Hrsg.). Wissen, was wirkt (S. 33-55). Springer: VS Verlag für Sozialwissenschaften.
  • Wiesner, C.; Schratz, M.; Rössler, L. (2019). Evaluation braucht Evidenz, aber welche? In: Buhren, C.; Klein, G.; Müller, S.: Handbuch Evaluation in Schule und Unterricht. Weinheim [u.a.]: Beltz, S. 45 - 58.
  • Seidel, K., H. Verbeek, S. Fessel und F. Meer (2021), Nutzen von wissenschaftlicher Evidenz – Erwartungen an wissenschaftliche Expertise, Diskussion Nr. 27, Nationale Akademie der Wissenschaften Leopoldina, https://www.leopoldina.org/fileadmin/redaktion/Publikationen/Diskussionen/2021_Diskussionspapi er_Wissenschaftliche_Evidenz_Web.pdf (15. Mai 2022)

Inwieweit ist die deutsche Entwicklungszusammenarbeit evidenz-informiert? (Marion Kraemer, Lea Jechel, Timo Kretschmer, Elisabeth Schneider)

Wirkungsevaluierungen untersuchen, welche Maßnahmen wirklich wirken und welche nicht. Im öffentlichen Sektor helfen sie also, begrenzte Steuergelder möglichst wirkungsvoll einzusetzen. In der staatlichen Entwicklungszusammenarbeit (EZ) hat die Wirkungsorientierung in den letzten zwei Jahrzehnten stark an Bedeutung gewonnen. Doch nutzt die deutsche EZ tatsächlich existierende Evidenz? Und schafft sie neue rigorose Evidenz dort, wo Evidenzlücken bestehen? In einem Forschungsprojekt zu rigoroser Wirkungsevaluierung (RIE) und Evidenznutzung hat das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) diese Fragen analysiert.

Mithilfe eines Mixed-Methods-Forschungsdesigns wurde untersucht, inwieweit (1) die deutsche EZ evidenz-basiert arbeitet, (2) welche Hindernisse eine evidenz-basierte EZ-Gestaltung erschweren und (3) mit welchen Maßnahmen sich diese Hindernisse überwinden ließen. Hierfür wurden sechs Datenquellen herangezogen: Interviews mit nationalen und internationalen EZ-Fachkräften, eine Bestandsaufnahme durchgeführter RIE in der deutschen EZ, eine Online-Befragung unter allen Fachkräften der deutschen EZ, eine Analyse internationaler RIE-Erfahrungen, eine Portfolio- und Dokumentenanalyse sowie Literaturrecherchen. Die Erkenntnisse wurden über die verschiedenen Datenquellen, Methoden und Mitglieder des Forschungsteams trianguliert.

Die Befunde unseres Forschungsprojekts legen nahe, (1) dass trotz einiger vielversprechender Ansätze die Generierung und Nutzung von Evidenz noch deutlich hinter dem erwünschten Maß zurückliegen, (2) dass Hindernisse auf individueller, organisatorischer und systemischer Ebene bestehen, die miteinander verzahnt sind und deshalb (3) auch mögliche Maßnahmen einen systemischen Ansatz verfolgen sollten. Wir schlagen insgesamt acht konkrete Maßnahmen vor, die dazu beitragen können, sowohl Kompetenzhürden auf der individuellen Ebene als auch organisatorische Fragen von Leadership, Prozessvorgaben und Finanzierung sowie systemische Aspekte (wie z.B. Anreizstrukturen) zu adressieren.

Über die Ergebnisse des Forschungsprojekts hinaus stellen wir 5 Tipps vor, wie Projektverantwortliche und politische Entscheidungsträger*innen auch außerhalb der EZ evidenz-informierter handeln können. Zudem wird eine neu geschaffene Datenbank für deutsche RIE vorgestellt und eine neu geschaffenen Evidenz-Webseite präsentiert. Diese soll als zentraler Knowledge Hub rund um RIE und rigorose Evidenz in der deutschen EZ dienen.

„Wenn nur sein kann, was auch sein soll“ - Evaluation zwischen Evidenz und politisch-normativen Zielsetzungen am Beispiel der Evaluation der Entwicklung von Bildungsprogrammen gegen Rechtsextremismus (Andreas Hastreiter, Dominique Moisl, Maren Dronia)

Seit Jahren fördert die Bundesregierung Bildungsveranstaltungen gegen rechtsextremistische Einstellungen im Jugendbereich. Der Beitrag beleuchtet die Herausforderungen der Evaluation in moralisch-normativ stark aufgeladenen Themenfeldern am Beispiel der Evaluation des Modellprojekts ‘Bildungsbausteine gegen Muslimfeindschaft’ (Bundesprogramm ‘Demokratie leben!’ 2015-2019). Teil des Entwicklungsprozesses der Seminareinheiten war eine formative Evaluation mittels zweifacher Evaluationsschleife (Survey-Feedback): Die Seminarteams führten Erprobungsseminare für die konzipierten Materialien durch. Zu diesen wurde das Feedback der Teilnehmenden mittels qual. und quant. Erhebungsbögen eingeholt. Die Daten wurden dann durch das Evaluationsteam aufbereitet und die Ergebnisse an die Seminarteams weitergeleitet. Deren Aufgabe war es, die Feedback-Ergebnisse in Nachbereitungssitzungen zu besprechen, Schlussfolgerungen für die Materialentwicklung zu ziehen und die Nachbereitungssitzungen zu dokumentieren. Auf diese Weise konnte der Lern- und Materialentwicklungsprozess umfassend abgebildet werden. Zentrale Erkenntnis ist, dass die starke moralische Aufladung des Themas eine Weiterentwicklung von politischen Bildungs¬programmen gegen Rechtsextremismus deutlich erschwert. Bspw. hat das hohe Maß an Transparenz, das durch den gewählten Evaluationsansatz hergestellt wurde, bei den materialentwickelnden Seminarteams teilweise Widerstände gegen die Evaluation hervorgerufen. Diese traten insbesondere dann auf, wenn sich das Feedback der Teilnehmenden auf Aspekte der pädagogisch-normativen Grundhaltung bezog und die Diskrepanz zwischen der Teilnehmenden- und der Leitendenperspektive weder konzeptionell noch theoretisch aufgelöst werden konnte. Schließlich war es nicht möglich, einen Interpretationsansatz zu finden, mit dem sich die programmkritischen Erkenntnisse aus der Empirie mit dem politischen und moralisch-normativen Anspruch der rassismuskritischen Bildungsarbeit für alle Beteiligten akzeptierbar verbinden ließen. Die Thematisierung von Kritik an der Mitteldimension (Didaktik, Handlungsempfehlungen) wurde als Zeichen mangelnder Moralität in Bezug auf die Zieldimension (Rechtsextremismusprävention) gedeutet. Möglicherweise kann bei normativ aufgeladenen Themen eine themenbezogene Konkretisierung und Diskussion allgemeiner Gütekriterien der politischen Bildungsarbeit (z.B. Beutelsbacher Konsens) zu einer Akzeptanzsteigerung kritischer Evaluationsergebnisse beitragen.


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

Programmevaluationen: wieviel wissenschaftliche Evidenz ist möglich und wieviel nötig? Eine Erörterung aus praktischer Perspektive

Meike Olbrecht

Alexander von Humboldt-Stiftung, Deutschland



Inwieweit ist die deutsche Entwicklungszusammenarbeit evidenz-informiert?

Marion Kraemer, Lea Jechel, Timo Kretschmer, Elisabeth Schneider

Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval), Deutschland



„Wenn nur sein kann, was auch sein soll“ - Evaluation zwischen Evidenz und politisch-normativen Zielsetzungen am Beispiel der Evaluation der Entwicklung von Bildungsprogrammen gegen Rechtsextremismus

Andreas Hastreiter2, Dominique Moisl1, Maren Dronia3

1Hochschule Fulda, Deutschland; 2Hochschule Landshut, Deutschland; 3ehemals Hochschule Landshut, Deutschland



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany