Veranstaltungsprogramm

Übergreifende Problemstellung: The institutionalization of impact evaluations within non-governmental organizations (NGO) is crucial for strengthening accountability and learning, yet it presents significant methodological and organizational challenges. World Vision Germany’s impact reports, the 4^th of which was published in November 2024, involve case studies from different regions of the world reflecting World Vision’s global portfolio and provide opportunities to reflect on the complexities of embedding impact evaluation in a large international NGO. Key challenges include balancing methodological rigor with programmatic flexibility, ensuring stakeholder engagement and local ownership, data comparability, and adapting evaluation frameworks to evolving contexts. This presentation will highlight some difficulties and opportunities in impact evaluation in balancing accountability, localization, and organizational learning. By adopting a reflexive perspective, this presentation aims to foster an exchange on how impact evaluation can be effectively institutionalized in complex settings where ambitions related to localization and learning from impact evaluation may compete for attention and resources with the need to demonstrate accountability to donors.

ggf. kurze Zusammenfassung der Einzelvorträge inkl. Nennung der jeweiligen Autor:innen mit Institution: The presentation by Jennifer McCarthy from World Vision Germany will offer a reflection on the methodological and practical opportunities and challenges of World Vision Germany’s 4^th Impact Report, the hurdles to institutionalizing the findings of impact evaluation and the learning that could follow such exercises. The presentation will include a reflection on impact evaluation in Guatemala as an opportunity to explore some challenges with organizational learning. The presentation overall aims to spark discussion around balancing the multiple requirements of impact evaluation and integrating findings into organizational practices. Discussion questions to be posed may include:

• What strategies have you used to address the hurdles in institutionalizing an understanding and evaluation of impact?
• Where have you seen success in institutionalizing impact evaluation and subsequent learning from evaluation?
• How do you balance multiple requirements of impact evaluation processes such as the functionality of accountability, learning, evidence, value-for-money, marketing, etc?
  

Der Druck auf Unternehmen wie zivilgesellschaftliche Institutionen, Rechenschaft über ihre Geschäftstätigkeit bzw. institutionelles Handeln abzulegen, steigt stetig. Das 2021 verabschiedete Lieferkettensorgfaltspflichtengesetz, die Verbreitung von Corporate Social Responsibility Standards, aber auch seit langem bestehende regulatorische Rahmenverordnungen wie die Bundeshaushaltsordnung zwingt sie, sich mit der Frage zu befassen, wie sie einen Nachweis über die Einhaltung der damit einhergehenden Vorgaben, d.h. ihre ‚Compliance‘ erbringen können. Oft bemerken sie dabei, dass vorhandene Steuerungsinstrumente hierfür unzureichend sind. Entsprechend sind auch abseits der Politikfeldebene Professionalisierungsbestrebungen im Bereich Evaluation zu verzeichnen, wie sich an der deutlichen Zunahme des Beratungsbedarfs von privatwirtschaftlichen und öffentlichen Organisationen hierzu in den vergangenen Jahren widerspiegelt.

Vor diesem Hintergrund soll in dem Beitrag anhand der Gegenüberstellung dreier Fallstudien, von denen zwei der Privatwirtschaft (Automotive & Bausektor) entstammen und eine aus dem öffentlichen Gesundheitswesen (Universitätsklinikum), nachgezeichnet werden, wie Professionalisierung von Evaluation 'im Kleinen' gelingt, welche Ziele damit jeweils verfolgt werden und welche Herausforderungen dabei zu bewältigen sind. Insbesondere folgende Fragen werden dabei erörtert:

• Welche Anforderungen an Evaluation ergeben sich aus der Notwendigkeit von Rechenschaftslegung, bspw. hinsichtlich Fragestellungen, Vorgehensweisen und evaluatorischen Kompetenzen?
• Was wird unter Evaluation im jeweiligen unternehmerischen bzw. organisationalen Kontext verstanden? Welche Ziele werden damit verfolgt? Welche Aufgaben ergeben sich daraus?
• Welche Kriterien werden jeweils als relevant erachtet? Welche Evaluationsfragen stehen im Vordergrund? Welche Gemeinsamkeiten und Unterschiede stellen sich im Vergleich zu etablierten Kriterien dar?
• Wie ist Evaluation verankert? Welche Unternehmens- bzw. Organisationseinheiten sind damit befasst und wie sind diese in hierarchisch eingebettet?
• Welche spezifischen Herausforderungen begegnen Unternehmen und öffentliche Einrichtungen bei der Professionalisierung von Evaluation in ihrer Organisation, welche Hürden müssen sie überwinden und wie gehen sie dabei vor?
• Welche Strategien verfolgen sie bei der Professionalisierung und wie erfolgreich sind diese?

Die Inhalte des Beitrags beruhen sowohl auf Erfahrungen des Referenten aus aktuellen Beratungsprozessen mit den diesen Fallstudien zugrundeliegenden Organisationen als auch auf dezidiert zum Zweck der Entwicklung dieses Beitrags geführten Interviews mit den auftraggeberseitig Verantwortlichen.

Welthungerhilfe (WHH), working towards zero hunger on a healthy planet, commissions approx. 65 evaluations annually to enhance learning, support evidence-based decision-making and foster transparency. This presentation explores WHH’s multi-layered approach to systematically institutionalize evaluations in the organization and addresses pathways in professionalizing evaluation management.

The organizational institutionalization of evaluation at WHH occurs across three key levels:

1. Global Organizational Level: Evaluations are embedded in WHH’s Monitoring, Evaluation, Accountability & Learning (MEAL) system and overall project management cycle. Overarching guidelines regulate when and how evaluations should be managed/conducted and are accompanied by tailored training and peer-exchange to ensure quality, comparability, and transferability.
2. Country Office (CO) Level: In alignment with WHH’s decentralized structure, evaluations are CO led. COs have the flexibility to adapt evaluations to their local contexts while aligning with global standards.
3. Program/Project Level: MEAL and project staff commission and manage evaluations, balancing adherence to WHH’s global guidelines with the realities of local partnerships, contexts, and priorities.

This structure fosters ownership, utilization-focused evaluations, and localization, ensuring relevance and is driven by a strong learning culture and leadership support. Yet critical questions remain:

• How much standardization of evaluation is necessary without limiting local adaptability? How to best balance WHH standards with those of its partners?
• How can professionalization of evaluation, particularly management and use, successfully take place within structural setup?

Addressing the professionalization aspect, WHH relies on a comprehensive evaluation management manual and templates, global capacity sharing initiatives, standby support from a global backstopping team and regular Meta Evaluations for external insights and recommendations to continuously improve WHH’s evaluation processes towards higher quality evaluations.

This practice-oriented presentation draws on an analysis of WHH’s evaluation structure, staff insights and Meta Evaluation findings. It shares good practices, challenges and open questions to foster discussion on institutionalization and professionalization of evaluation within organizations across various policy fields.