Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
D5: Evaluationsansätze
Zeit:
Freitag, 16.09.2022:
10:45 - 12:15

Leitung der Sitzung: Dr. Alexander Kocks, DEval

Zusammenfassung der Sitzung

Wirkungsorientiertes Monitoring als zentrales Element eines integrierten M&E-Systems: Das Beispiel des Gründungsförderprogramms EXIST (Christoph E. Müller)

In Deutschland fließen jährlich viele Milliarden Euro in Forschungs-, Transfer- und Innovationsförderprogramme. In vielen Fällen werden die Förderprogramme extern evaluiert sowie durch ein Monitoring begleitet. Oftmals werden diese Aktivitäten allerdings voneinander losgelöst umgesetzt und nicht aufeinander abgestimmt. Insbesondere der gestaltenden und unterstützenden Rolle des Monitorings wird häufig zu wenig Aufmerksamkeit geschenkt. Dies führt nicht nur zu erheblichen Effizienzverlusten, sondern lässt auch die enormen Potentiale eines integrierten M&E-Systems ungenutzt. Im vorliegenden Beitrag soll daher aufgezeigt werden, wie ein wirkungsorientiertes Monitoringsystem aufgebaut und im Rahmen eines austarierten M&E-Systems zur Erhöhung des Nutzens sinnvoll mit formativen und summativen Evaluationskomponenten verschränkt werden kann.

Dabei eignet sich eines der größten Gründungsförderprogramme Deutschlands – namentlich das EXIST-Programm – aufgrund seines Umfangs und seiner Struktur sehr gut zur Veranschaulichung der Vorteile und der Implementierung eines integrierten M&E-Systems. Mit den beiden operativen Förderlinien „EXIST-Gründerstipendium“ und „EXIST-Forschungstransfer“ fördert(e) das Bundesministerium für Wirtschaft und Klimaschutz seit 2007 mehr als 3.000 Gründungsvorhaben aus der Wissenschaft mit mehr als 690 Mio. €.

Neben einer kurzen Vorstellung der Förderlinien des EXIST-Programms werden im Vortrag zunächst die Rollen des Monitorings sowie der externen formativen und summativen Evaluation im M&E-System von EXIST vorgestellt. Dabei wird herausgearbeitet, welche zentrale Rolle das wirkungsorientierte Monitoring – v.a. als Datenlieferant – spielt, welches Untersuchungsdesign und welcher programmtheoretische Ansatz dem Monitoring zugrunde liegen und auf welche Datenquellen im Rahmen einer sinnvollen Quellen- und Methodentriangulation zurückgegriffen wird. Darüber hinaus werden auch die methodischen und praktischen Fallstricke thematisiert, mit denen sich die Integration von Monitoring und Evaluation konfrontiert sieht. In einem Fazit wird schließlich auf den Nutzen eines umfangreichen und systematischen wirkungsorientierten Monitorings eingegangen und dargelegt, aus welchen Gründen ein derartiges Monitoring für länger laufende Förderprogramme mit der entsprechenden Sorgfalt entwickelt und umgesetzt werden sollte.


Wirkungsdialog als zentrales Element der sozialökonomischen Wirkungsevaluation: Konzeptionelle Grundlagen und praktische Erfahrungen (Renate Kränzl-Nagl, Thomas Prinz)

Die sozialökonomische Wirkungsevaluation, die am Campus Linz der FH OÖ von den Vortragenden seit Jahren entwickelt und erprobt wird, zeichnet sich durch den interdisziplinären Zugang aus, der wirtschaftswissenschaftlichen Expertise mit sozialwissenschaftlicher Evaluationsforschung praxisbezogen verknüpft. Im Rahmen des Vortrags soll diese Herangehensweise einleitend kurz skizziert werden. Im Vordergrund steht der sog. „Wirkungsdialog“, der ein zentrales und unverzichtbares Element der sozialökonomischen Wirkungsevaluation darstellt. Dieser Wirkungsdialog assistiert/begleitet den gesamten iterativen Prozess der sozialökonomischen Wirkungsevaluation von der kooperativen Formulierung der Wirkungsziele über die Stakeholder-Analyse, Bewertung der Key-Stakeholder, Erarbeitung der Wirkungsketten, Erstellung der Impact Map und der Indikatoren-/Kennzahlensystematik (inkl. Wirkungsmessung) bis hin zum wirkungsorientierten Steuerungssystem und Berichtswesen. Somit können die Perspektiven aller Beteiligten berücksichtigt werden. In der sozialwissenschaftlich orientierten Wirkungsevaluation, die mit den beschriebenen Prozessschritten eng verschränkt ist, erweist sich der begleitende Wirkungsdialog ebenfalls als sehr fruchtbar.

Im geplanten Vortrag werden konzeptionelle Grundlagen für den Wirkungsdialog vorgestellt und es wird auf praktische Erfahrungen mit diesem Konzept eingegangen, wie etwa auf unterschiedliche Perspektiven und Interessen der wirkungsrelevanten Akteure. Neben den Zielgruppen (z.B. von Dienstleistungen jeglicher Art), die in partizipatorischen Ansätzen der Evaluationsforschung seit Jahren vermehrt Berücksichtigung finden, rücken mit dem Wirkungsdialog auch Politik und Verwaltung in den Mittelpunkt der Betrachtung (hier knüpft der geplante Vortrag an das Thema der Jahrestagung 2022 an). Welche besonderen Herausforderungen sich dadurch für den Prozess der Wirkungsevaluation ergeben, wird anhand einiger Beispiele demonstriert und ist zudem Gegenstand der anschließenden Diskussion. Ob sich Perspektiven und Interessen von relevanten Akteuren je nach Anwendungsgebiet der sozialökonomischen Wirkungsevaluation (soziale Dienstleistungen, soziale bzw. technologische Innovationen, Integration, Bildung, Kultur, etc.) voneinander unterscheiden, wird ebenfalls thematisiert.


Die Methode der Kontributionsanalyse als Beitrag zur evidenzbasierten Politikgestaltung - Lernerfahrungen aus den zentralen Projektevaluierungen der GIZ (Ulrike Haffner, Dr. Vera Hundt, Benjamin Bräuer)

Um die Qualität der Projektplanung und -durchführung aber auch um die übergeordnete Portfolio- und Politikplanung zu verbessern, sollten Evaluierungen nicht nur die Ergebnisse, sondern auch die Kontributionszusammenhänge zwischen Projektaktivitäten und Wirkungen auf Outcome und übergeordneter (entwicklungspolitischer) Ebene bewerten.

Die Ergebnisse solcher Analysen stellen die Basis evidenzbasierter Empfehlungen und Lernprozesse dar und helfen uns, die Fragen zu beantworten: Was wirkt wie und was nicht? Wie genau können wir mit unseren Projekten und Programmen die politischen Vorgaben unserer Auftraggeber und Partner (meist auf Regierungsebene) umsetzen und gleichzeitig (entwicklungs-) politisch notwendige Veränderungen anstoßen?

In diesem Beitrag stellen wir die Methodik der Kontributionsanalyse vor, wie Sie in den zentralen Projektevaluierungen (ZPE) der GIZ als methodischer Mindeststandard angewandt wird und diskutieren die Frage wie deren Ergebnisse für den Diskurs im (mikro-)politischen Raum genutzt werden können.

Bezüglich der Methodik widmen wir uns folgenden Punkten:

    Auf Basis der Theory of Change (GIZ Wirkungsmodell) des Projekts wählen die externen Evaluator*innen fünf Wirkungshypothesen aus
    Diese Wirkungshypothesen werden als eigenständige Bewertungsdimensionen unter den OECD/DAC-Kriterien Effektivität und Impact analysiert und bewertet
    Zur Darstellung haben sich Evidenztabellen mit alternativen Erklärungen bewährt
    Methodische Grenzen der Kontributionsanalyse insbesondere hinsichtlich Kontextualisierung und Verallgemeinerbarkeit sollten aufgezeigt werden

Anschließend möchten wir folgende Punkte anhand von relevanten Praxisbeispielen veranschaulichen und diskutieren:

    Je methodisch fundierter sich eine evidenzbasierte Kontributionsanalyse darstellt, desto eher werden kritische Ergebnisse von Auftraggebern akzeptiert
    Die Kontributionsanalyse kann im Vergleich zu anderen Methoden mit einem begrenzten Aufwand evidenzbasierte Erkenntnisse als Handlungsanleitungen ins politische Geschäft einbringen
    Welche Faktoren können dazu beitragen, dass die Erkenntnisse einer Kontributionsanalyse den größten Nutzen für die (mikro-)politische Diskussion mit den Auftraggebern und Partnern entfalten können (z.B. Robustheit, politische Relevanz, Timing, Praxistauglichkeit)?


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

Wirkungsdialog als zentrales Element der sozialökonomischen Wirkungsevaluation: Konzeptionelle Grundlagen und praktische Erfahrungen

Renate Kränzl-Nagl, Thomas Prinz

Fachhochschule OÖ, Österreich



Die Methode der Kontributionsanalyse als Beitrag zur evidenzbasierten Politikgestaltung - Lernerfahrungen aus den zentralen Projektevaluierungen der GIZ

Ulrike Haffner, Vera Dr. Hundt, Benjamin Bräuer

Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH, Deutschland



Wirkungsorientiertes Monitoring als zentrales Element eines integrierten M&E-Systems: Das Beispiel des Gründungsförderprogramms EXIST

Christoph E. Müller

Projektträger Jülich, Deutschland



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany