Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
D5: Unterstützung von Transformation und Wandel durch komplexe Programmevaluationen
Zeit:
Freitag, 17.09.2021:
12:45 - 14:15

Leitung der Sitzung: Kirsten Vorwerk

Gastgeber: AK Entwicklungspolitik und Humanitäre Hilfe


Zusammenfassung der Sitzung

Komplexe Programme haben häufig den Anspruch langfristige Veränderungen auf struktureller oder gesellschaftlicher Ebene zu erzielen. Bei der Evaluation komplexer Programme besteht die Herausforderung, dass zum einen eine Vielzahl von Themenbereichen bzw. Handlungsfeldern abgedeckt werden müssen und gleichzeitig die Lern- und Informationsbedarfe unterschiedlicher Interessensgruppen bedient werden sollen. Im Rahmen der Session wird anhand von drei Fallbeispielen die Frage behandelt, wie Evaluationen komplexer Programme gestaltet werden können, um Lernen möglichst schon im Prozess zu ermöglichen und Evaluierungsergebnisse nutzbar zu machen, um Transformation und Wandel zu unterstützen.

Im ersten Vortrag „ Learning touchpoints: How to introduce learning and change through evaluation in a large portfolio of programmes” wird das Evaluationssystem des britischen Prosperity Fund vorgestellt. Ziel des Fonds ist die Verringerung von Armut in Ländern mittleren Einkommens durch die Unterstützung eines inklusiven Wirtschaftswachstums. Für die Evaluation der Programme des Fonds wurde ein Zyklusmodell mit sechs „Learning touchpoints“ entwickelt. Lucy Brealey (NIRAS-LTS International) und Christiane Kerlen (Kerlen Evaluation Ltd) diskutieren die Erfahrungen mit der Anwendung des Modells anhand eines Fallbeispiels.

Sigrun Meyer, Tobias Gerhard und Doreen Kubek von der Zukunft - Umwelt - Gesellschaft (ZUG) gGmbH stellen im zweiten Vortrag „Von Ex-post zu Mittendrin – Wandel und Lernen im Evaluationssystem der Internationalen Klimaschutzinitiative“ die Neukonzeptionierung des Evaluationssystems der Internationalen Klimaschutzinitiative (IKI) vor. Im Vordergrund steht die Frage, wie Monitoring- und Evaluationssysteme ausgestaltet werden können, um Transformation und Wandel zu unterstützen und Projekte und Programme kontinuierlich lernorientiert weiterzuentwickeln.  

Im dritten Vortrag präsentieren Diana, Beyer und Diana, Zierold vom Deutsches Jugendinstitut e.V. die Evaluation des Bundesprogramms „Demokratie leben!“. Das Bundesprogramm besteht aus acht in sich geschlossenen Handlungsbereichen, die sich dynamischen Rahmenbedingungen stellen und auf diese reagieren müssen. Die Evaluation nimmt eine bereichsübergreifende Perspektive ein. Diskutiert werden Herausforderungen der Evaluation im Umgang mit der Vielfalt und Spezifika der einzelnen Handlungsbereiche sowie hinsichtlich der Abstraktion auf die Gesamtprogrammebene.

Schlagworte: Nutzung und Einfluss von Evaluationen, Mixed Methods, Sonstige theoretische und methodische Aspekte der Evaluation, Einreichung zum Tagungsthema


Externe Ressource:
Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

Learning touchpoints: How to introduce learning and change through evaluation in a large portfolio of programmes

Lucy Brealey1, Christiane Kerlen2

1NIRAS-LTS International; 2Kerlen Evaluation Ltd, Vereinigtes Königreich

The British Prosperity Fund (PF) is a cross-government fund that aims to reduce poverty by supporting inclusive economic growth in middle-income countries. £1.2 billion has been allocated to a portfolio of programmes over seven years. The Fund’s portfolio is currently split between 23 countries and across 12 sectors with programmes by a range of UK government departments.

The Evaluation and Learning (E&L) service for the fund is being delivered by a consortium of three companies, Tetratech International Development Europe, Integrity and NIRAS-LTS. The E&L service emphasises organisational learning applying a user and learning focused approach as well as contributing to the accountability mechanisms of the fund; it also contributes to generating the evidence base on mutual prosperity. Evaluations are carried out at programme level with an annual E&L cycle providing the basis for an evidence-based review of progress on what has been achieved, how and why. Evaluations are also synthesised for cross Fund management and learning purposes, with additional investigation into select topics. The approach emphasises that evaluations are more useful when stakeholders participate in their design, analysis and follow-up. An E&L evaluation learning cycle with six “learning touchpoints” is followed by all programme evaluations.

The learning touchpoints are:
  1. Validate evaluation questions and identify learning priorities - work with the programme team to prioritise and refine questions and ensure the evaluation meets their learning priorities
  2. Data collection – capture learning
  3. Validate findings and develop recommendations – co-develop recommendations with the programme team, before the report is finalised
  4. Action planning – support the programme team to develop an action plan against the recommendations
  5. Wider learning and dissemination – analyse and synthesise emerging learning with the programme team, and develop a dissemination plan to reach different audiences
  6. After action review – reflection meeting with the evaluation and programme teams

In this presentation the application of the learning cycle in praxis will be demonstrated using the case study of the evaluation of the Prosperity Fund’s Digital Access Programme.

Drawing on feedback from this and other Prosperity Fund evaluations the pros and cons of this approach are being assessed discussing the following aspects: useful structure vs. rigidity, duplication of content, suitability for different programme contexts.



Von Ex-post zu Mittendrin – Wandel und Lernen im Evaluationssystem der Internationalen Klimaschutzinitiative

Sigrun Meyer, Tobias Gerhard, Doreen Kubek

Zukunft - Umwelt - Gesellschaft (ZUG) gGmbH, Deutschland

Monitoring und Evaluation tragen dazu bei, dass Förderprogramme ihre Ziele und Förderzwecke besser erreichen können. Besonders in Förderprogrammen, die Wandel und Transformation verfolgen, stellt sich die Frage, wie Monitoring- und Evaluationssysteme ausgestaltet werden können, um dies jeweils bestmöglich zu unterstützen und sowohl Projekte als auch Programme kontinuierlich lernorientiert weiterzuentwickeln.

Ein Förderprogramm mit transformativem Anspruch ist die Internationale Klimaschutzinitiative (IKI). Sie ist seit 2008 eines der wichtigsten Instrumente des Bundesministeriums für Umwelt, Naturschutz und nukleare Sicherheit (BMU) zur internationalen Finanzierung von Klimaschutz und Biodiversität in Entwicklungs-, Schwellen- und Transformationsländern. Die ZUG gGmbH unterstützt dabei das BMU als Projektträger bei der Umsetzung der IKI. Sie koordiniert und steuert die Monitoring- und Evaluationsaktivitäten mit einer eigenen Fachabteilung.

In 2017 erfolgte eine Neustrukturierung der IKI hin zu umfangreicheren und langfristiger ausgelegten Fördervorhaben in gemeinsamer Umsetzung mehrerer Durchführungsorganisationen. Damit wurden die Förderbedingungen noch stärker auf ganzheitliche und nachhaltige Wirkung ausgerichtet. Gleichzeitig wurde der Bedarf deutlich, das bisherige zyklische Ex-post-Evaluierungssystem zu verändern, um komplexere Akteurskonstellationen und Wirkungszusammenhänge in sich verändernden Kontexten und längeren Zeiträumen besser zu erfassen und Lernen bereits während der Projektlaufzeit zu ermöglichen.

Im Vortrag stellt die ZUG gGmbH die Neukonzeptionierung des IKI-Evaluationssystems hin zu einem stärker lernorientierten System mit Fokus auf Zwischenevaluierungen und begleitenden Wirkungsevaluierungen vor. Wir verdeutlichen dabei konzeptionelle Überlegungen sowie die bisherige Umsetzung und reflektieren wesentliche Herausforderungen des veränderten Systems. Im Rahmen dessen soll mit den Teilnehmenden diskutiert und Erfahrungen ausgetauscht werden, wie die Nutzung von Ergebnissen und das Lernen aus Evaluationen in transformativen Projekten und Programmen in der Praxis umgesetzt wird oder umgesetzt werden sollte. Welche Schnittstellen, Lücken, aber auch Potenziale gibt es dabei? Welche Implikationen ergeben sich für Evaluationsdesign und Methodenauswahl?



(Methodische) Anforderungen an Evaluationen komplexer Bundesprogramme

Beyer Diana, Zierold Diana

Deutsches Jugendinstitut e.V., Deutschland

Komplexe Programme, wie bspw. das Bundesprogramm „Demokratie leben!“, stellen uns Evaluator:innen vor verschiedene Herausforderungen – neben der Herausforderung, dass es verschiedene Zielgruppen der Evaluation gibt (z.B. BMFSFJ als Auftraggeber, politische Akteure auf Bundes-, Landes- und kommunaler Ebene, Fachpraxis, Wissenschaft), besteht das Gesamtprogramm aus inzwischen acht in sich geschlossenen Handlungsbereichen, die sich dynamischen Rahmenbedingungen stellen und auf diese reagieren müssen. Eine bereichsübergreifende Perspektive nimmt dabei die Gesamtevaluation ein, aus deren Blickwinkel wir den Vortrag halten werden. Die damit einhergehenden Herausforderungen betreffen die Vielfalt und Spezifika der einzelnen Handlungsbereiche sowie die Abstraktion auf die Gesamtprogrammebene.

In der Evaluation setzen wir auf einen Methodenmix bestehend u.a. aus: quantitativen Vollerhebungen aller Projekte zu drei Zeitpunkten, qualitativen Befragungen ausgewählter Projekte, quantitativen und qualitativen Befragungen (semi-)externer Akteure, Regionalanalysen inkl. qualitativer und quantitativer Netzwerkanalysen und Dokumentenanalysen.

Im Vortrag möchten wir uns – fokussiert v.a. auf die quantitativen Methoden - mit folgenden Fragen auseinandersetzen und erste Antworten geben:

- Wie können wir den Ansprüchen der unterschiedlichen Zielgruppen gerecht werden?

- Wie kann eine Gesamtevaluation mit der Herausforderung umgehen, acht Handlungsbereiche mit unterschiedlicher Ausrichtung, unterschiedlichen Ebenen, auf denen sie sich bewegen (Bundes-, Landes- und kommunale Ebene sowie Struktur- und Handlungsebenen) zu evaluieren?

- Wie lassen sich Fragestellungen finden, die den Anforderungen und Eigenlogiken aller Handlungsbereiche gerecht werden?

- Wie lassen sich die Ergebnisse der verschiedenen Handlungsbereiche aggregieren?



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 24. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.144
© 2001–2022 by Dr. H. Weinreich, Hamburg, Germany