Conference Agenda

Die fortschreitende Digitalisierung prägt zunehmend gesellschaftliche Kommunikation, politische Teilhabe und Meinungsbildung und stellt Demokratieförderung und Extremismusprävention vor neue Herausforderungen. Der Bereich „Digitaler Raum“ des Bundesprogramms „Demokratie leben!“ reagiert auf diese Entwicklungen mit innovativen Ansätzen zur Stärkung digitaler Kompetenzen und Teilhabe sowie zum Umgang mit Desinformation und Hassrede im Netz. Unsere anlaufende Evaluation verfolgt das Ziel, die Wirksamkeit der Maßnahmen zu bewerten und eine evidenzbasierte Grundlage für deren Weiterentwicklung zu schaffen.

Zentral ist dabei ein mehrstufiges Design, das digitale wie hybride Erhebungsformen integriert. Bei einer ausgewählten Gruppe von Projekten wird eine vertiefte Einzelevaluation durchgeführt, in der qualitative und quantitative Methoden miteinander kombiniert werden. Dies soll unter anderem durch die Nutzung anfallender digitaler Daten passieren, sodass wir hier an aktuelle Diskurse zur Integration reaktiver und nicht-reaktiver Verfahren anschließen (Weiß & Stier, 2023; Welker, 2019). Projektträger, bei denen keine vertiefte Einzelevaluation durchgeführt wird, werden bei der Implementierung von Selbstevaluationsverfahren unterstützt, um kontinuierliches Lernen und adaptive Steuerung zu gewährleisten. Ein besonderer Fokus sowohl für die Einzel- als auch Selbstevaluation liegt auf der Suche nach Möglichkeiten, Wirkungen auf verschiedenen Ebenen nachzuweisen. Der Umgang mit digital erzeugten Daten erfordert dabei neue Formen methodischer Reflexion und kann so zur Weiterentwicklung evaluativer Standards beitragen (Besand et al., 2014).

Im Blitzvortrag werden erste Erkenntnisse aus den aktuell laufenden Ausgangsanalysen sowie vertiefte Planungen zu Einzelevaluationen und zur Unterstützung der Selbstevaluation diskutiert. Entlang konkreter Umsetzungsbeispiele zeigen wir Herausforderungen und Chancen digitaler Evaluation auf und leisten einen Impuls zur Weiterentwicklung evaluativer Praxis im digitalen Raum.

Besand, A., Birkenhauer, P., & Lange, P. (2014). Politische Bildung in digitalen Umgebungen: Eine Fallstudie zur Onlineplattform DU HAST DIE MACHT. Robert Bosch Stiftung.

Weiß & Stier (2023). Die Verknüpfung von digitalen Verhaltensdaten und Umfragedaten. easy_social_sciences, 68, 31-38.

Welker, M. (2019). Computer- und onlinegestützte Methoden für die Untersuchung digitaler Kommunikation. In: Schweiger, W., Beck, K. (Hg.) Handbuch Online-Kommunikation.

Bereits seit längerer Zeit gibt es eine Reihe an Herausforderungen, vor denen Entscheidungsträger in Hochschulen verstärkt stehen. Dies sind insbesondere Wettbewerbsdruck (z. B. bei Drittmitteln), Anforderungen an Wissens- und Technologietransfer und Governance in Bezug auf Organisationsentwicklung. In den letzten Jahren kamen – nicht zuletzt im Zuge der Corona-Pandemie – weitere Herausforderungen hinzu, so eine verstärkte Digitalisierung der Hochschulen, Umgang mit Künstlicher Intelligenz und generell mit digitalen Umgebungen; sowie Nutzung von (digitalen) Daten zur Entscheidungsunterstützung, insbesondere aus und in Evaluationen.

Es ist davon auszugehen, dass dies zu höheren Anforderungen an die Fähigkeiten und Kompetenzen der Entscheidungsträger und entscheidungsvorbereitenden Personen führt. Zum Beispiel generische Kompetenzen, wie Problemlösungs- und Vermittlungskompetenz, dürften wichtiger geworden sein (vgl. Rathke u.a. 2023). Eine weitere Hypothese ist, dass in Zeiten von Homeoffice und mobilem Arbeiten digitale Kompetenzen (noch) wichtiger wurden (vgl. Petri & Krempkow 2023; Krempkow u.a. 2022).

Bislang gibt es kaum verlässliche Informationen darüber, in welchen einzelnen Kompetenzbereichen die Anforderungen an Personal in Hochschulen und Wissenschaftseinrichtungen in Deutschland besonders hoch und inwieweit sie z.B. im Bereich digitaler Kompetenzen ausgeprägt sind. In diesem Beitrag soll dies anhand von empirischen Analysen für die Gruppe der Entscheider und Entscheidungsvorbereiter speziell im Bereich Evaluationen näher betrachtet und untersucht werden. Die zentralen Forschungsfragen lauten:

• Was sind die wahrgenommenen Bedarfe an Qualifikationen und Kompetenzen insgesamt und wie werden deren aktuelle Ausprägungen eingeschätzt?
• Was sind die Bedarfe speziell im Bereich datengestützter Entscheidungen an Hochschulen?

Datenbasis soll erstens die Subgruppe der mit Evaluationen befassten Personen im Wissenschaftsmanagement Deutschlands sein, die Online-Surveys eines früheren Projektes der Verfasser*innen erhoben (N=1380/1236, vgl. Rathke u.a. 2023, Krempkow u.a. 2021) und hierfür sekundärdatenanalytisch ausgewertet werden. Als zweite Datenbasis sollen mehrere Dutzend qualitative Interviews und deren inhaltsanalytische Auswertung sowohl aus o.g. Projekt, als auch aus einem aktuellen Projekt zur Nutzung von Daten für die Hochschulentwicklung (NuDHe) herangezogen werden (Wegner u.a. 2025, 2024; Janson u.a. 2024).

Context: The Eastern Partnership (EaP) is a partnership between the EU, its member states and six Eastern European countries. The Partnership aims to deepen political and economic relations between the EU and these countries. The European Union Association Agreements were signed with Georgia, Ukraine and Moldova in 2014, which set specific actions for economic and political partnerships between these countries and the EU. One of the areas that Georgia, Ukraine and Moldova have been working on is the Public Administration Reform, fostering evidence-based decision making and results-based management as one of the core values. This presents an important opportunity to institutionalize and professionalize evaluation; while some important positive steps were made, the aspects of evaluation remain scattered. Political contexts have been shifting in all three countries: while the EU accession process has been essentially halted for Georgia, both Moldova and Ukraine are seeking closer integration with the EU, hence this is good time to pause and gather the lessons learnt.

Objective: The main objective of this presentation is to showcase the overarching challenges these three EaP countries are facing regarding institutionalization and professionalization of evaluation.

Key Question: What are the top 3 overarching challenges and opportunities that are presented in these three Eastern Partnership countries?

What problems hinder the institutionalization and professionalization of evaluation? What inhibiting factors can be identified?

Based on the desk research of SIGMA reports and evidence gathered in this regard across Georgia, Moldova and Ukraine, three common and most pressing challenges, such as: limitations of legal and institutional framing, lack of individual and organizational governmental capacities and cultural misconceptions on accountability were identified and will be presented and discussed during the conference. External and internal political shifts are crucial underlying contributors to these issues, however, we would like to have a forward-looking vision and present main opportunities that can be utilized in this context.

This is an important opportunity for Eastern Partnership Countries to start sharing experience on the practice of institutionalization and professionalization of evaluation, which will provide benefits for the development of the area in all these countries.

„Was verstehen wir unter Impact und wie können wir Impact auf Länderebene messen?“ – Mit dieser Frage setzt sich das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) in seinen Länderportfolioevaluierungen (LPEs) auseinander. Im Rahmen der LPEs fokussiert sich das DEval auf das Verständnis der OECD, nach dem Impact als übergeordnete und längerfristige Auswirkungen von Interventionen zu verstehen sind. LPEs haben unter anderem das Ziel, den Beitrag der deutschen bilateralen Entwicklungszusammenarbeit (EZ) auf diese übergeordneten Wirkungen im Partnerland zu messen. Messung wird hier als Erfassung von Veränderungen auf der Impact-Ebene begriffen.

Die Messung von Impact auf Länderebene stellt jedoch eine Herausforderung dar. Dies hat zum einen strukturelle Gründe, da übergeordnete Wirkungen durch das Zusammenspiel einer Vielzahl von Interventionen in einem Partnerland erreicht werden sollen. Entsprechend muss eine LPE nicht nur eine größere Anzahl an Akteuren, sondern auch verschiedene Wirkungsstränge und deren unterschiedliche Rahmenbedingungen berücksichtigen. Zum anderen gibt es methodische Hindernisse: Klassische kausalanalytische Designs der Wirkungsevaluierung stoßen oftmals an ihre Grenzen auf der Länderebene. Daher ist eine verstärkte Auseinandersetzung mit unterschiedlichen Datenquellen und -analysen notwendig, um Kausalzusammenhänge bestmöglich zu untersuchen. Beides führt zu einer größeren Unsicherheit bei der Evidenzstärke und zu einem erhöhten Ressourcenbedarf im Vergleich zu Evaluierungen auf der Ebene von einzelnen Interventionen.

Bislang mangelt es an systematischen Untersuchungen, inwieweit die Messung auf Länderebene umsetzbar ist. Es ist häufig unklar, wie stark Faktoren wie z.B. der länderspezifische institutionelle Kontext die Messung von Impact beeinflussen und welche Datenanalysemethoden unter realen Bedingungen tatsächlich anwendbar sind.

Das Ziel dieses Blitzvortrags ist es daher, die Grenzen und Möglichkeiten zur Messung von Impact auf Länderebene zu diskutieren. Basierend auf einer systematischen Literatur- und Dokumentenanalyse werden methodische, konzeptionelle und praktische Herausforderungen herausgearbeitet und mögliche Lösungsansätze präsentiert.

Öffentlich geförderte Patentanmeldungen im Rahmen des WIPANO-Programms werden hier hinsichtlich ihres Erfolgs statistisch untersucht. Ein Ziel der Fördermaßnahme ist die finanzielle Unterstützung von kleinen und mittleren Unternehmen (KMU) bei der Anmeldung gewerblicher Schutzrechte. Basierend auf einem Vergleichsgruppendesign wird analysiert, ob die Förderung die Wahrscheinlichkeit einer Patenterteilung im Vergleich zu ungeförderten Anmeldungen vergleichbarer KMU erhöht. Die Ergebnisse fußen auf 818 geförderten Anmeldungen aus dem Zeitraum 2017 – 2020 und zeigen, dass die Förderung die Erfolgswahrscheinlichkeit der Patentanträge um knapp 20% erhöht. Die Analyse unter Einbeziehung von Kontrollvariablen wie Mitarbeiterzahl, Umsatz und Unternehmensalter deutet darauf hin, dass die Förderung ein wirksames Instrument zur Stärkung der Innovationsaktivität von KMU ist. Die Studie liefert empirische Evidenz für die Effektivität (und Effizienz) der Förderung und bietet Anknüpfungspunkte für künftige Forschungsarbeiten und förderpolitische Entscheidungen.

Die Institutionalisierung und Professionalisierung von Monitoring, Evaluation, Accountability & Learning (MEAL) ist für viele Organisationen entscheidend, um Wirkung systematisch zu messen und datenbasierte Entscheidungen zu treffen. Trotz wachsender Anforderungen an Wirksamkeitsnachweise fehlen oft hinreichende interne Fachkenntnisse, etablierte Methoden oder eine strategische Einbindung von MEAL, die über reine Berichtspflichten hinausgeht und eine nachhaltige Verankerung in Organisationskulturen erschweren. Mainlevel Consulting hat in mehreren Schulungsreihen gezeigt, wie externe Dienstleister gezielt dazu beitragen können, MEAL als strategisches Steuerungsinstrument zu etablieren. Vor diesem Hintergrund veranschaulicht der Vortrag gemeinsam mit der Welthungerhilfe (WHH), wie externe Dienstleister über klassische Beratungsrollen hinausgehen und iterative Lernprozesse, digitale Innovationen und adaptive Methoden kombinieren, um MEAL langfristig organisationsübergreifend zu verankern. Hybride Lernformate fördern nicht nur individuelles Fachwissen durch praxisnahe Anwendung, sondern stoßen auch nachhaltige Veränderungsprozesse an. Indem MEAL an organisationsspezifische Anforderungen angepasst wurde, entwickelte es sich von einer externen Vorgabe zu einem praxisnahen Instrument der Qualitätssicherung und Organisationsentwicklung. Zur Veranschaulichung wird das Trainingsformat mit der WHH vorgestellt. In diesem Training wurden soziale Start-ups aus dem Globalen Süden dabei unterstützt, MEAL nicht nur für Wirkungsorientierung, Rechenschaftslegung und Steuerung zu nutzen, sondern es als zentrales Instrument für strategische Organisationsentwicklung, Kommunikation und Fundraising zu etablieren. Besonders innovativ war der Einsatz digitaler Tools wie Miro und MS Teams, um Wissen skalierbar zu vermitteln und ein langfristiges Evaluationsnetzwerk aufzubauen. Der Vortrag verdeutlicht, dass die nachhaltige Institutionalisierung von MEAL keine punktuelle Qualifizierungsmaßnahme, sondern ein mehrstufiger Prozess ist, in dem Training, praxisnahe Anwendung, digitales Lernen und organisationsspezifische Anpassungen ineinandergreifen. Das Fallbeispiel zeigt, dass MEAL weit über klassische Wirkungsmessung hinausgeht und als strategischer Hebel für Organisationsentwicklung genutzt werden kann. Diese Erkenntnisse tragen dazu bei, den Diskurs zur Evaluationsprofessionalisierung weiterzuentwickeln und innovative Ansätze für die langfristige Verankerung von MEAL zu diskutieren.