Hier finden Sie eine Übersicht über unser Tagungsprogramm. Eingefärbt dargestellt sind englischsprachige Sessions (gelb) bzw. Sessions mit einzelnen englischsprachigen Beiträgen (hellgelb). Alle nicht farbig dargestellten Sessions sind deutschsprachig, auch bei englischsprachiger Übersetzung des Sessiontitels in der übersetzten Programmübersicht.
Leitung der Sitzung: Philipp Pohlenz, Otto-von-Guericke-Universität Magdeburg
Zusammenfassung der Sitzung
Die Beiträge der Session gehen von einer Problemanalyse aus, deren Ergebnis ist, dass die im Titel genannten Voraussetzungen für eine allseits gewinnbringende evaluative Praxis in verschiedenen Feldern öffentlicher Dienstleistungen nicht gegeben sind: So ist bspw. aufgrund weitgehend fehlender Standardisierungen von Leistungskriterien, Verfahren und Evaluationskompetenzen sowie der Institutionalisierung von Evaluation nur eine begrenzte Vergleichbarkeit zwischen einzelnen Evaluationsergebnissen gegeben. Dies führt zu Limitationen der Aussagefähigkeit von Evaluationsergebnissen insgesamt und hemmt in der Folge die Bereitschaft von Akteuren, Evaluationen als Quelle von steuerungsrelevanter Evidenz zu nutzen.
Die Beiträge präsentieren verschiedene Ansätze, sich mit diesem Problem auseinanderzusetzen:
Kooperationen zwischen Organisationen der Internationalen Zusammenarbeit und der Wissenschaft als Beitrag zur Evaluation Capacity, Lisa Nieth, Theresa Witt und Maria Stalla
Der erste Beitrag fokussiert das Verhältnis von Evaluationspraxis und empirischer Wissenschaft und untersucht verschiedene Kooperationsformen mit je unterschiedlichen Potenzialen, Beiträge zum Aufbau einer Evaluationskultur zu leisten.
Evaluation professionalisieren: Standardisierung, Evaluationskultur und organisationale Verankerung, Chira Hartwig, Piet Hausberg, Max Praß und Hannah Bernhardt
Der zweite Beitrag geht auf Optimierungspotenziale bei der Institutionalisierung von Evaluation in der Bundesverwaltung ein und nutzen dafür den „Ability-Motivation-Opportunity Framework“ zur Beobachtung und Gestaltung der dortigen Evaluationspraxis.
Institutionalisierung von Evaluation durch kontinuierliche Begleitung: Erfahrungen aus der Zukunft-Umwelt-Gesellschaft (ZUG) gGmbH, Birgit Alber und Sigrun Meyer
Der dritte Beitrag setzt Birgit Alber und Sigrun Meyer auf die kontinuierliche, also prozessbezogen Begleitung einer unternehmensinternen Abteilung für Monitoring und Evaluation, um Chancen und Herausforderungen zu identifizieren, die sich aus den relevanten Organisationsstrukturen ergeben.
Präsentationen
Kooperationen zwischen Organisationen der Internationalen Zusammenarbeit und der Wissenschaft als Beitrag zur Evaluation Capacity
Lisa Nieth1, Theresa Witt2, Maria Stalla1
1Technopolis Group, Germany; 2Syspons GmbH
Die Fähigkeit von Organisationen der Internationalen Zusammenarbeit (IZ), evidenzbasierte Entscheidungen zu treffen und Wirkungen systematisch zu erfassen, ist eng mit ihrer Zusammenarbeit mit der Wissenschaft verknüpft. Der Beitrag analysiert, wie wissenschaftliche Kooperationen zur Stärkung von Evaluation Capacity beitragen können – im Sinne von Wissensgenerierung, strategischer Beratung, Wirkungsmessung und institutionellem Lernen.
Die Studie basiert auf einem qualitativen Fallstudiendesign von internationalen IZ-Organisationen. Die Methodik kombiniert Desk Research mit leitfadengestützten Interviews mit Mitarbeitenden dieser Organisationen. Die Analyse erfolgt entlang zentraler Variablen: (1) strategisch-institutionelle Verankerung der Kooperation mit Wissenschaft, (2) Kooperationsmodalitäten und Zielsetzungen, (3) Auswahl und Rolle der Kooperationspartner sowie (4) Kooperationsformate.
Die Ergebnisse zeigen eine Vielfalt institutioneller Ansätze: Einige Organisationen fokussieren auf den Kapazitätsaufbau lokaler Forschungseinrichtungen (bspw. Sida, USAID, IDRC), andere betonen die Nutzung wissenschaftlicher Evidenz zur Gestaltung und Evaluierung von Programmen (bspw. SDC, FCDO). Wiederum andere verstehen Wissenschaftskooperation als Beitrag zur Förderung demokratischer Diskurse und zum Schutz evidenzbasierter Entscheidungsfindung (OSF, UNDP). Besonders hervorzuheben ist, dass viele Organisationen gezielt Formate entwickeln, die Evaluation, Forschung und Politikberatung miteinander verzahnen – etwa durch dual positionierte Expert*innen, strategische Partnerschaften mit Think Tanks oder evidenzbasierte Evaluierungsaufträge.
Der Beitrag schlägt eine Typologie von Wissenschaftskooperationen vor, die verschiedene Beiträge zur Evaluation Capacity unterscheidet: von evidenzbasierter Politikberatung über Wirkungsmessung bis hin zum Aufbau von Forschungsökosystemen im Globalen Süden. Damit leistet die Studie einen empirisch fundierten Beitrag zum Verständnis organisationaler Voraussetzungen für Evaluation und generiert theoretisch-methodologische Erkenntnisse über die strukturelle Verankerung evaluativer Praxis – im Sinne einer reflexiven Perspektive auf Evaluation und ihre Rahmenbedingungen.
Evaluation professionalisieren: Standardisierung, Evaluationskultur und organisationale Verankerung
Chira Hartwig, Piet Hausberg, Max Praß, Hanna Banhardt
Cassini Consulting AG, Deutschland
Struktur, Abläufe und Kultur innerhalb des Verwaltungsapparats schränken noch heute den Nutzen von Evaluationen ein. Unterschiedliche Fachbereiche operieren häufig mit uneinheitlichen Wirkungsindikatoren, was die Vergleichbarkeit und Integration von Daten erheblich erschwert. Gleichzeitig fehlt es oft an einer Perspektive, welche die Vorteile sichtbar werden lässt und so auch als Indikator dient, wie positive Arbeit verstärkt werden kann, damit eine Evaluation als Chance zur kontinuierlichen Verbesserung gesehen werden kann. Zudem sind Evaluationen in den Organisationen häufig nicht hinreichend solide verankert, sodass wertvolle Erkenntnisse nicht systematisch in die Optimierung von Politikentscheidungen und deren Umsetzung einfließen können.
Es bedarf eines spezifischen strategischen Dreiklangs zur Institutionalisierung und Professionalisierung von Evaluationen in der Bundesverwaltung. Diesen leiten wir orientiert am Ability-Motivation-Opportunity-Framework (Appelbaum et al. 2000) aus Beobachtungen aus der Evaluationspraxis ab:
Ability steigern durch Standardisierung: Die Einführung eines einheitlichen Sets an Wirkungsindikatoren und der konsequente Einsatz von Open Data erleichtern die Verfügbarkeit und Auswertbarkeit von Daten. Dadurch werden Vergleichbarkeit und Integration von Informationen maßgeblich verbessert.
Motivation verbessern durch Evaluationskultur: Eine Kultur, in der Evaluation als Gestaltungsinstrument und nicht als Pflicht verstanden wird, fördert die Akzeptanz und Anwendbarkeit von Steuerungs- und Führungsinstrumenten. Ein offener, lernorientierter Umgang mit kritischen Ergebnissen ermöglicht es, negative Befunde als Impuls zur kontinuierlichen Weiterentwicklung zu nutzen.
Opportunities schaffen durch organisatorische Verankerung: Die Etablierung eines Evaluationsreferats zur Bearbeitung von Evaluationen verleiht den Ergebnissen die notwendige politische Relevanz und Schlagkraft. Eine feste organisatorische Verankerung sorgt dafür, dass Evaluationsergebnisse nachhaltig in strategische Entscheidungsprozesse integriert werden.
In diesem Beitrag werden anhand konkreter Beispiele Möglichkeiten aufgezeigt, wie die Maßnahmen von standardisierter Indikatorik bis hin zu institutionellem Lernen erfolgreich umgesetzt und die genannten Herausforderungen effektiv bewältigt werden können.
Institutionalisierung von Evaluation durch kontinuierliche Begleitung: Erfahrungen aus der Zukunft-Umwelt-Gesellschaft (ZUG) gGmbH
Birgit Alber, Sigrun Meyer
Zukunft-Umwelt-Gesellschaft (ZUG) gGmbH, Deutschland
Problemstellung: Die begleitende und abschließende Erfolgskontrolle bei der Umsetzung von öffentlichen finanzwirksamen Maßnahmen ist in Deutschland rechtlich verankert. Die konkrete Umsetzung dieser Vorgaben, insbesondere durch Evaluationen, ist jedoch stark heterogen und variiert zwischen Ministerien sowie innerhalb einzelner Abteilungen und Referate. Während einige Institutionen über eigene Evaluationseinheiten verfügen, die Evaluationsvorhaben gezielt steuern und begleiten können, sind in anderen Organisationen die Zuständigkeiten verteilt. In diesen Fällen hängt es oft von einzelnen Personen, deren M&E-Kenntnissen und den verfügbaren Ressourcen ab, ob Evaluationen nachhaltig genutzt oder lediglich als punktuelle Übungen zur Erfüllung von Rechenschaftspflichten durchgeführt werden. Gerade letzteres birgt das Risiko, dass der potenzielle Nutzen von Evaluation für organisationales Lernen und strategische Steuerung nicht ausgeschöpft wird und der Mehrwert von M&E nicht erfahrbar ist.
Beitrag: In unserem Einzelvortrag möchten wir die Erfahrungen der ZUG mit der Begleitung und Durchführung von Monitoring- und Evaluationsprozessen über den gesamten Zyklus von Förderprogrammen und anderen Aufträgen teilen. Im Querschnitts-Fachgebiet ZUG Monitoring, Evaluierung und Wirkungsanalyse (ZUG MEW) werden aktuell alle Leistungen zu Monitoring und Evaluation aus den verschiedenen Aufträgen der ZUG gebündelt und in enger Zusammenarbeit mit den ZUG-Fachteams sowie den auftraggebenden Ministerien umgesetzt. Die durch die ZUG realisierten Aufträge umfassen die Konzeption und Umsetzung von Förderprogrammen sowohl international als auch in Deutschland sowie den Aufbau nationaler Kompetenzzentren im Bereich Klima- und Umweltschutz.
Im ersten Teil des Vortrags stellen wir die Rollen und Leistungen von ZUG MEW in diesen Aufträgen vor. Anschließend beleuchten wir die Chancen, Herausforderungen und Grenzen, die mit einer solchen Organisationsstruktur für M&E verbunden sind. Dies soll Impulse für eine Austausch- und Fragerunde am Ende des Vortrags geben, in der wir Teilnehmende einladen, ihre Erfahrungen mit unterschiedlichen Organisations- und Kooperationsstrukturen im Bereich M&E zu teilen. Unser Ziel ist so eine akteursübergreifende Reflexion darüber anzustoßen, wie unterschiedliche Akteure entsprechend ihrer Mandate und Rollen gemeinsam auf eine weitere Professionalisierung und Institutionalisierung der Evaluationspraxis im öffentlichen Sektor hinwirken können.
