Veranstaltungsprogramm

Die fortschreitende Digitalisierung prägt zunehmend gesellschaftliche Kommunikation, politische Teilhabe und Meinungsbildung und stellt Demokratieförderung und Extremismusprävention vor neue Herausforderungen. Der Bereich „Digitaler Raum“ des Bundesprogramms „Demokratie leben!“ reagiert auf diese Entwicklungen mit innovativen Ansätzen zur Stärkung digitaler Kompetenzen und Teilhabe sowie zum Umgang mit Desinformation und Hassrede im Netz. Unsere anlaufende Evaluation verfolgt das Ziel, die Wirksamkeit der Maßnahmen zu bewerten und eine evidenzbasierte Grundlage für deren Weiterentwicklung zu schaffen.

Zentral ist dabei ein mehrstufiges Design, das digitale wie hybride Erhebungsformen integriert. Bei einer ausgewählten Gruppe von Projekten wird eine vertiefte Einzelevaluation durchgeführt, in der qualitative und quantitative Methoden miteinander kombiniert werden. Dies soll unter anderem durch die Nutzung anfallender digitaler Daten passieren, sodass wir hier an aktuelle Diskurse zur Integration reaktiver und nicht-reaktiver Verfahren anschließen (Weiß & Stier, 2023; Welker, 2019). Projektträger, bei denen keine vertiefte Einzelevaluation durchgeführt wird, werden bei der Implementierung von Selbstevaluationsverfahren unterstützt, um kontinuierliches Lernen und adaptive Steuerung zu gewährleisten. Ein besonderer Fokus sowohl für die Einzel- als auch Selbstevaluation liegt auf der Suche nach Möglichkeiten, Wirkungen auf verschiedenen Ebenen nachzuweisen. Der Umgang mit digital erzeugten Daten erfordert dabei neue Formen methodischer Reflexion und kann so zur Weiterentwicklung evaluativer Standards beitragen (Besand et al., 2014).

Im Blitzvortrag werden erste Erkenntnisse aus den aktuell laufenden Ausgangsanalysen sowie vertiefte Planungen zu Einzelevaluationen und zur Unterstützung der Selbstevaluation diskutiert. Entlang konkreter Umsetzungsbeispiele zeigen wir Herausforderungen und Chancen digitaler Evaluation auf und leisten einen Impuls zur Weiterentwicklung evaluativer Praxis im digitalen Raum.

Besand, A., Birkenhauer, P., & Lange, P. (2014). Politische Bildung in digitalen Umgebungen: Eine Fallstudie zur Onlineplattform DU HAST DIE MACHT. Robert Bosch Stiftung.

Weiß & Stier (2023). Die Verknüpfung von digitalen Verhaltensdaten und Umfragedaten. easy_social_sciences, 68, 31-38.

Welker, M. (2019). Computer- und onlinegestützte Methoden für die Untersuchung digitaler Kommunikation. In: Schweiger, W., Beck, K. (Hg.) Handbuch Online-Kommunikation.

Bereits seit längerer Zeit gibt es eine Reihe an Herausforderungen, vor denen Entscheidungsträger in Hochschulen verstärkt stehen. Dies sind insbesondere Wettbewerbsdruck (z. B. bei Drittmitteln), Anforderungen an Wissens- und Technologietransfer und Governance in Bezug auf Organisationsentwicklung. In den letzten Jahren kamen – nicht zuletzt im Zuge der Corona-Pandemie – weitere Herausforderungen hinzu, so eine verstärkte Digitalisierung der Hochschulen, Umgang mit Künstlicher Intelligenz und generell mit digitalen Umgebungen; sowie Nutzung von (digitalen) Daten zur Entscheidungsunterstützung, insbesondere aus und in Evaluationen.

Es ist davon auszugehen, dass dies zu höheren Anforderungen an die Fähigkeiten und Kompetenzen der Entscheidungsträger und entscheidungsvorbereitenden Personen führt. Zum Beispiel generische Kompetenzen, wie Problemlösungs- und Vermittlungskompetenz, dürften wichtiger geworden sein (vgl. Rathke u.a. 2023). Eine weitere Hypothese ist, dass in Zeiten von Homeoffice und mobilem Arbeiten digitale Kompetenzen (noch) wichtiger wurden (vgl. Petri & Krempkow 2023; Krempkow u.a. 2022).

Bislang gibt es kaum verlässliche Informationen darüber, in welchen einzelnen Kompetenzbereichen die Anforderungen an Personal in Hochschulen und Wissenschaftseinrichtungen in Deutschland besonders hoch und inwieweit sie z.B. im Bereich digitaler Kompetenzen ausgeprägt sind. In diesem Beitrag soll dies anhand von empirischen Analysen für die Gruppe der Entscheider und Entscheidungsvorbereiter speziell im Bereich Evaluationen näher betrachtet und untersucht werden. Die zentralen Forschungsfragen lauten:

• Was sind die wahrgenommenen Bedarfe an Qualifikationen und Kompetenzen insgesamt und wie werden deren aktuelle Ausprägungen eingeschätzt?
• Was sind die Bedarfe speziell im Bereich datengestützter Entscheidungen an Hochschulen?

Datenbasis soll erstens die Subgruppe der mit Evaluationen befassten Personen im Wissenschaftsmanagement Deutschlands sein, die Online-Surveys eines früheren Projektes der Verfasser*innen erhoben (N=1380/1236, vgl. Rathke u.a. 2023, Krempkow u.a. 2021) und hierfür sekundärdatenanalytisch ausgewertet werden. Als zweite Datenbasis sollen mehrere Dutzend qualitative Interviews und deren inhaltsanalytische Auswertung sowohl aus o.g. Projekt, als auch aus einem aktuellen Projekt zur Nutzung von Daten für die Hochschulentwicklung (NuDHe) herangezogen werden (Wegner u.a. 2025, 2024; Janson u.a. 2024).

Context: The Eastern Partnership (EaP) is a partnership between the EU, its member states and six Eastern European countries. The Partnership aims to deepen political and economic relations between the EU and these countries. The European Union Association Agreements were signed with Georgia, Ukraine and Moldova in 2014, which set specific actions for economic and political partnerships between these countries and the EU. One of the areas that Georgia, Ukraine and Moldova have been working on is the Public Administration Reform, fostering evidence-based decision making and results-based management as one of the core values. This presents an important opportunity to institutionalize and professionalize evaluation; while some important positive steps were made, the aspects of evaluation remain scattered. Political contexts have been shifting in all three countries: while the EU accession process has been essentially halted for Georgia, both Moldova and Ukraine are seeking closer integration with the EU, hence this is good time to pause and gather the lessons learnt.

Objective: The main objective of this presentation is to showcase the overarching challenges these three EaP countries are facing regarding institutionalization and professionalization of evaluation.

Key Question: What are the top 3 overarching challenges and opportunities that are presented in these three Eastern Partnership countries?

What problems hinder the institutionalization and professionalization of evaluation? What inhibiting factors can be identified?

Based on the desk research of SIGMA reports and evidence gathered in this regard across Georgia, Moldova and Ukraine, three common and most pressing challenges, such as: limitations of legal and institutional framing, lack of individual and organizational governmental capacities and cultural misconceptions on accountability were identified and will be presented and discussed during the conference. External and internal political shifts are crucial underlying contributors to these issues, however, we would like to have a forward-looking vision and present main opportunities that can be utilized in this context.

This is an important opportunity for Eastern Partnership Countries to start sharing experience on the practice of institutionalization and professionalization of evaluation, which will provide benefits for the development of the area in all these countries.

The institutionalization of monitoring and evaluation (M&E) processes within Non-Governmental Organizations (NGOs) and Corporate Social Responsibility (CSR) initiatives is crucial for enhancing the effectiveness and efficiency of development work, particularly in developing countries. As global development becomes increasingly complex, and donor directions change (e.g. USAID) the need for robust M&E frameworks for their work is more critical than ever, especially since they can count for up to 50% of development activities (especially Education, Health, and Community Development in general).

Institutionalizing M&E, by having M&E policies and frameworks, and incorporating them into their structure, enables organizations to establish systematic practices that empower them to assess and improve their interventions actively.

Integrating technology, such as E-Systems, and mobile data collection tools, enhances organizations' capacity to monitor progress efficiently and transparently. In an era marked by increasing demands for accountability from donors (individual and corporate), stakeholders, and beneficiaries, demonstrating tangible impacts through rigorous M&E practices is paramount.

Investing in M&E staff training and integrating data-driven decision-making, can cultivate a culture of accountability and learning. In developing countries, where Civil Society Organizations face resource constraints, effective M&E will serve as a vital tool for optimizing resource allocation, fostering stakeholder engagement, and amplifying the impact of development efforts.

Disseminating and discussing evaluation reports in the local language is crucial for experience-sharing and maximizing the impact of development efforts of NGOs and CSR initiatives.

In summary, the institutionalization and professionalization of M&E within NGOs and CSR initiatives are essential for improving the efficiency of development work in developing countries. By fostering systematic monitoring and evaluation approaches, organizations can enhance operational efficiency and ensure sustainable and meaningful change. As the global development landscape evolves, a concerted focus on M&E is pivotal in addressing pressing social, economic, and environmental challenges, ultimately contributing to more equitable and sustainable development outcomes.

This flash presentation shares findings from a doctoral study of UK-based evaluation professionals, adopting a grounded theory approach drawing on in depth interviews with 27 practitioners, sampled for diversity in career stage (early, mid, late career), employment status, and gender. The aim of the study is to contribute to the relatively under-researched area of research on evaluation, to examine how evaluators reflect on their own practice, perceive their work as shaped by structural and cultural forces, and develop strategies to adapt to, contest, or resist them.

The analysis is guided by three broad lenses drawn from the critical evaluation literature, which help frame how structural and cultural forces shape evaluative practice: institutionalisation (how evaluation has been shaped by its embeddedness within organizational structures), marketisation (the shift of evaluation towards a commodifiable service), and professionalisation (how evaluators, as a professional community, are influenced by, and respond to, public sector reforms and lack of market power through professionalization efforts, methodological innovation, and ethical positioning) which collectively shape what evaluation looks and feels like on the ground. These three forces of change are distinct yet overlapping and mutually reinforcing, shaping how evaluators perceive their work, roles, and the field more broadly.

Emerging findings indicate while institutionalisation has brought standards and visibility, many described navigating rigid procedural cultures. Marketisation sharpened client expectations but can narrow autonomy. Meanwhile, professionalisation has offered opportunities for strengthening the field but also raised tensions exclusivity, and evaluation's civic role.

This proposed contribution will share a key emerging finding as a work in progress: across career stages, evaluators develop different strategies to reconcile aspiration and constraint — from pragmatism to selective resistance, to reframing expectations, reshaping roles or selectively disengaging from certain types of work. These strategies reflect not only personal motivation and experience but the broader systems in which evaluators are embedded.

„Was verstehen wir unter Impact und wie können wir Impact auf Länderebene messen?“ – Mit dieser Frage setzt sich das Deutsche Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) in seinen Länderportfolioevaluierungen (LPEs) auseinander. Im Rahmen der LPEs fokussiert sich das DEval auf das Verständnis der OECD, nach dem Impact als übergeordnete und längerfristige Auswirkungen von Interventionen zu verstehen sind. LPEs haben unter anderem das Ziel, den Beitrag der deutschen bilateralen Entwicklungszusammenarbeit (EZ) auf diese übergeordneten Wirkungen im Partnerland zu messen. Messung wird hier als Erfassung von Veränderungen auf der Impact-Ebene begriffen.

Die Messung von Impact auf Länderebene stellt jedoch eine Herausforderung dar. Dies hat zum einen strukturelle Gründe, da übergeordnete Wirkungen durch das Zusammenspiel einer Vielzahl von Interventionen in einem Partnerland erreicht werden sollen. Entsprechend muss eine LPE nicht nur eine größere Anzahl an Akteuren, sondern auch verschiedene Wirkungsstränge und deren unterschiedliche Rahmenbedingungen berücksichtigen. Zum anderen gibt es methodische Hindernisse: Klassische kausalanalytische Designs der Wirkungsevaluierung stoßen oftmals an ihre Grenzen auf der Länderebene. Daher ist eine verstärkte Auseinandersetzung mit unterschiedlichen Datenquellen und -analysen notwendig, um Kausalzusammenhänge bestmöglich zu untersuchen. Beides führt zu einer größeren Unsicherheit bei der Evidenzstärke und zu einem erhöhten Ressourcenbedarf im Vergleich zu Evaluierungen auf der Ebene von einzelnen Interventionen.

Bislang mangelt es an systematischen Untersuchungen, inwieweit die Messung auf Länderebene umsetzbar ist. Es ist häufig unklar, wie stark Faktoren wie z.B. der länderspezifische institutionelle Kontext die Messung von Impact beeinflussen und welche Datenanalysemethoden unter realen Bedingungen tatsächlich anwendbar sind.

Das Ziel dieses Blitzvortrags ist es daher, die Grenzen und Möglichkeiten zur Messung von Impact auf Länderebene zu diskutieren. Basierend auf einer systematischen Literatur- und Dokumentenanalyse werden methodische, konzeptionelle und praktische Herausforderungen herausgearbeitet und mögliche Lösungsansätze präsentiert.

Öffentlich geförderte Patentanmeldungen im Rahmen des WIPANO-Programms werden hier hinsichtlich ihres Erfolgs statistisch untersucht. Ein Ziel der Fördermaßnahme ist die finanzielle Unterstützung von kleinen und mittleren Unternehmen (KMU) bei der Anmeldung gewerblicher Schutzrechte. Basierend auf einem Vergleichsgruppendesign wird analysiert, ob die Förderung die Wahrscheinlichkeit einer Patenterteilung im Vergleich zu ungeförderten Anmeldungen vergleichbarer KMU erhöht. Die Ergebnisse fußen auf 818 geförderten Anmeldungen aus dem Zeitraum 2017 – 2020 und zeigen, dass die Förderung die Erfolgswahrscheinlichkeit der Patentanträge um knapp 20% erhöht. Die Analyse unter Einbeziehung von Kontrollvariablen wie Mitarbeiterzahl, Umsatz und Unternehmensalter deutet darauf hin, dass die Förderung ein wirksames Instrument zur Stärkung der Innovationsaktivität von KMU ist. Die Studie liefert empirische Evidenz für die Effektivität (und Effizienz) der Förderung und bietet Anknüpfungspunkte für künftige Forschungsarbeiten und förderpolitische Entscheidungen.

Die Institutionalisierung und Professionalisierung von Monitoring, Evaluation, Accountability & Learning (MEAL) ist für viele Organisationen entscheidend, um Wirkung systematisch zu messen und datenbasierte Entscheidungen zu treffen. Trotz wachsender Anforderungen an Wirksamkeitsnachweise fehlen oft hinreichende interne Fachkenntnisse, etablierte Methoden oder eine strategische Einbindung von MEAL, die über reine Berichtspflichten hinausgeht und eine nachhaltige Verankerung in Organisationskulturen erschweren. Mainlevel Consulting hat in mehreren Schulungsreihen gezeigt, wie externe Dienstleister gezielt dazu beitragen können, MEAL als strategisches Steuerungsinstrument zu etablieren. Vor diesem Hintergrund veranschaulicht der Vortrag gemeinsam mit der Welthungerhilfe (WHH), wie externe Dienstleister über klassische Beratungsrollen hinausgehen und iterative Lernprozesse, digitale Innovationen und adaptive Methoden kombinieren, um MEAL langfristig organisationsübergreifend zu verankern. Hybride Lernformate fördern nicht nur individuelles Fachwissen durch praxisnahe Anwendung, sondern stoßen auch nachhaltige Veränderungsprozesse an. Indem MEAL an organisationsspezifische Anforderungen angepasst wurde, entwickelte es sich von einer externen Vorgabe zu einem praxisnahen Instrument der Qualitätssicherung und Organisationsentwicklung. Zur Veranschaulichung wird das Trainingsformat mit der WHH vorgestellt. In diesem Training wurden soziale Start-ups aus dem Globalen Süden dabei unterstützt, MEAL nicht nur für Wirkungsorientierung, Rechenschaftslegung und Steuerung zu nutzen, sondern es als zentrales Instrument für strategische Organisationsentwicklung, Kommunikation und Fundraising zu etablieren. Besonders innovativ war der Einsatz digitaler Tools wie Miro und MS Teams, um Wissen skalierbar zu vermitteln und ein langfristiges Evaluationsnetzwerk aufzubauen. Der Vortrag verdeutlicht, dass die nachhaltige Institutionalisierung von MEAL keine punktuelle Qualifizierungsmaßnahme, sondern ein mehrstufiger Prozess ist, in dem Training, praxisnahe Anwendung, digitales Lernen und organisationsspezifische Anpassungen ineinandergreifen. Das Fallbeispiel zeigt, dass MEAL weit über klassische Wirkungsmessung hinausgeht und als strategischer Hebel für Organisationsentwicklung genutzt werden kann. Diese Erkenntnisse tragen dazu bei, den Diskurs zur Evaluationsprofessionalisierung weiterzuentwickeln und innovative Ansätze für die langfristige Verankerung von MEAL zu diskutieren.