Das Potenzial des Regression-Discontinuity-Designs für die Schätzung von Programmwirkungen: Ein Anwendungsbeispiel aus der Startup-Förderung
Christoph E. Müller
Projektträger Jülich, Forschungszentrum Jülich, Deutschland
Die Evaluation öffentlicher Fördermaßnahmen ist nicht nur für Programmverantwortliche relevant, sondern aufgrund haushaltsrechtlicher Vorgaben häufig auch verpflichtend. Um verlässliche Aussagen über Wirkungen unter realen Bedingungen treffen zu können, bedarf es kausal interpretierbarer methodischer Ansätze.
Der Vortrag beleuchtet die Anwendung des Regressions-Discontinuity-Designs (RDD), eines in der Forschung anerkannten, in der deutschsprachigen Evaluationspraxis aber bislang selten genutzten Verfahrens. Dieses quasi-experimentelle Design nutzt die Logik einer Schwellenwertregelung: Förderentscheidungen erfolgen anhand eines kontinuierlichen Bewertungskriteriums, wobei Fälle knapp über und unter dem Schwellenwert hinsichtlich ihrer Ergebnisse verglichen werden. Die zugrundeliegende Annahme ist, dass sich diese Fälle – abgesehen davon, ob sie gefördert wurden oder nicht – in ihren Eigenschaften weitgehend ähneln. Bei geeigneter Datenlage ermöglicht das RDD belastbare Kausalschätzungen – ohne randomisierte Zuweisung.
Im Zentrum des Vortrags stehen jedoch nicht nur Potenziale, sondern vor allem typische Herausforderungen bei der Umsetzung: z.B. die methodische Qualität der Zuweisungsvariable, potenzielle Manipulationen, ungleiche Fallverteilungen rund um den Cutoff sowie eine mitunter geringe Korrelation zwischen Zuweisungsvariable und Outcome. Zudem stellt sich in der praktischen Anwendung die Frage nach der Wahl eines geeigneten Schätzverfahrens – etwa zwischen nicht-parametrischen lokalen Schätzungen und parametrischen Modellen, insbesondere bei begrenzter Fallzahl oder binären Outcomes.
Am Beispiel einer aktuellen Studie zur wissenschaftlichen Begleitung des EXIST-Programms wird gezeigt, wie das RDD trotz dieser Herausforderungen praktisch einsetzbar ist. Die Studie untersucht die Wirkung des EXIST-Gründungsstipendiums auf die Gründungsaktivität akademischer Startups und illustriert, wie realweltliche Auswahlprozesse für eine Wirkungsevaluation mit Hilfe des RDD genutzt werden können. Der Vortrag stellt Zielsetzung, methodisches Vorgehen und Ergebnisse der Studie vor und diskutiert praxisnah die Voraussetzungen, Möglichkeiten und Grenzen des RDD in der Evaluation öffentlicher Programme.
Eine ökonomische Taxonomie für professionalisiertere Evaluation in der Wirtschaftspolitik
Wolf Rogowski
Universität Bremen, Deutschland
Gemäß den Vorgaben des Staatssekretärsausschuss „Bürokratieabbau und bessere Rechtsetzung“ in Verbindung mit §§ 43, 44 GGO ist professionalisierte, evidenzinformierte Politik und Evaluation besonders bei politischen Maßnahmen mit hohem Aufwand für Bürger:innen und Unternehmen relevant. Da Wirtschaftspolitik potenziell besonders hohen Aufwand verursacht, ist sie ein wichtiges Beispiel für Professionalisierungsbedarf der Evaluation. Nach dem Ideal evidenzinformierter Politik sollten Maßnahmen einerseits auf einer fundierten Theorie eines kausalen Wirkmechanismus aufbauen und anderseits vor, während und nach der Durchführung anhand relevanter Impactmaße evaluiert werden. In der Praxis von Wirtschaftspolitik und -evaluation werden Wirkmodelle und Impactmaße jedoch mangels etablierter Theorien oft ad-hoc ausgewählt.
Dies ist jedoch auch dadurch bedingt, dass die ökonomischen Theorien, mit denen man Wirkmodelle wissenschaftlich fundieren kann, auf Annahmen einer Welt von homines oeconomici beruhen, die für viele Maßnahmen wenig weiterhilft. Dieser Vortrag stellt eine Taxonomie von vier unterschiedlichen, wirtschaftlichen Forschungsprogrammen der Ökonomik vor. Dies beinhaltet zunächst drei Forschungsprogramme, die ökonomische Wirkzusammenhänge erklären und die die Ökonomie als Summe individueller Entscheidungen (Neoklassik und Verhaltensökonomik), als Regelgefüge (Originäre und Neue Institutionenökonomik) oder als komplexes System (Ökologische und Evolutorische Ökonomik) analysieren. Ergänzend bietet die Wohlfahrtsökonomie eine entscheidungstheoretische Fundierung für Impact-Maße. Am Beispiel Klimaschutz wird diskutiert, wie durch die Anwendung der Taxonomie die Professionalisierung von Evaluation wirtschaftspolitischer Maßnahmen insofern gefördert werden kann, als sie die Wahl gleichzeitig problemspezifischer und theoretisch fundierter Wirkmodelle unterstützt und zur Entwicklung valider Impact-Maße beiträgt.
Limitationen sind, auf Seiten ökonomischer Theorieentwicklung, dass jede Taxonomie angreifbar ist, da sie zwar wichtige Unterschiede aufzeigen, aber nie alle Details ökonomischer Theorieentwicklung abbilden kann. Auf Seiten der Evaluationspraxis ist eine Taxonomie zunächst meist zu abstrakt. Dennoch scheint sie zur Professionalisierung der Evaluation wirtschaftspolitischer Maßnahmen essenziell, zumindest wenn man davon ausgeht, dass ein theoretisch fundiertes, auf ein Problem hin spezifiziertes Wirkmodell und Impactmaß einem ad-hoc ausgewählten überlegen ist.
Reimagining Evaluation through AI: Enhancing Relevance, Speed, and Quality
Armen Grigorian
Elevaid, Armenia
Artificial Intelligence (AI) can reshape how we conduct and utilize evaluations—expanding the boundaries of what is possible in design, data collection, analysis, and dissemination. This presentation will examine how AI-driven approaches can accelerate feedback loops, enhance quality, and drive more inclusive and responsive evaluations. By doing so AI can contribute to institutionalisation and professionalisation of evaluations.
Drawing on industry literature and experience from applying Elevaid, we illustrate how AI can streamline everything from designing evaluation methodologies, assisting with data collection through drafting interview protocols and delivery through AI bots up to analyzing vast qualitative datasets in real time. By reducing manual tasks and automating workflows, AI can make evaluations more efficient and affordable. At the same time, this shift can allow organizations to institutionalize more timely, and inclusive evaluation practices.
We will highlight four core messages. First, AI’s capacity to rapidly integrate and synthesize data. This can significantly shorten evaluation timelines. Second, AI has great untapped potential to support and enhance data collection efforts. Third, AI-driven analytics present new opportunities for detecting complex patterns, thus generating actionable insights that are too often missed with traditional methods. In this way, AI is not just a technological tool but a catalyst for institutionalisation and professionalisation of evaluation, offering opportunities to reframe how evaluations are done, who gets to do them, how findings are used, and how evaluations are valued.
Attendees will gain practical insights from our work at Elevaid into how evaluation focused AI can bolster the timeliness and relevance of evaluation findings—leading to faster, data-driven decisions and greater uptake of recommendations. We will also discuss the importance of co-design and enhanced stakeholder engagemnet to ensure that AI-powered tools remain equitable and contextually grounded. In doing so, we aim to inspire evaluators, managers, and policymakers to embrace AI as both a transformative innovation and a critical step toward higher-quality, higher-use evaluations.
|
