Veranstaltungsprogramm

Viele politische Debatten sind mittlerweile von den Begriffen „Wirkungsmessung“, „Lernender Staat“ und „Evaluation“ geprägt und dass politische Maßnahmen die gewünschten Wirkungen erreichen sollen, ist wirklich keine Kontroverse. Dennoch scheint Wirkungsorientierung als Methode politischer Steuerung nicht so richtig in der Umsetzung politischer Maßnahmen anzukommen – sei es bei der Zielsetzung, Umsetzung oder Überprüfung der Wirkungen. Am Beispiel der Digitalstrategie der Bundesregierung gehen wir daher den Fragen nach:
FF1: Welche Rolle spielt Wirkungsorientierung aktuell im Arbeitsalltag von Mitarbeitenden der Ministerialverwaltung?
FF2: Welche Treiber und Hürden für Wirkungsorientierung lassen sich identifizieren?

Zur Beantwortung der Fragen führen wir eine quantitative Onlinebefragung in zwei Wellen (Welle 1: März-April 2024, Welle 2: März-April 2025) unter den Umsetzenden von Maßnahmen aus der Digitalstrategie durch und begleiten sechs Projektteams aus der Digitalstrategie der Bundesregierung über zwei Jahre. Neben Mitarbeitenden aus den Ministerien sind also auch die Perspektiven externer Dienstleistender relevant, die an der Maßnahmenumsetzung beteiligt sind.

Erste Ergebnisse aus Welle 1 (n=86) zeigen, dass Erfahrungen mit Wirkungsorientierung auf der individuellen Ebene, insbesondere bei Projektmitarbeitenden, teilweise vorhanden sind. Dies ist jedoch meist dann der Fall, wenn die Mitarbeitenden die Kompetenzen aus früheren beruflichen Kontexten mitbringen, eine institutionelle Förderung findet bisher nicht statt. Zur Quantifizierung des Stands der Wirkungsorientierung eines Projekts haben wir einen Wirkungsindex entwickelt, der den Grad der Wirkungsorientierung eines Projekts anhand von 25 Items in den vier Kategorien Planung, Umsetzung, Stakeholderbeteiligung und Messen angibt. Erste Ergebnisse zeigen einen Zusammenhang zwischen dem Grad der Wirkungsorientierung eines Projekts und der Erfahrung der Mitarbeitenden damit. In der Kategorie Planung schneiden viele Projekte nach Einschätzung der Befragten bereits gut ab, insbesondere bei der datenbasierten Überprüfung der Zielerreichung (Kategorie Messen), u.a. durch Evaluationen, und der Stakeholderbeteiligung zeigen sich jedoch große Schwankungen. Als zentrale Hürde für Wirkungsorientierung wird Zeitmangel genannt. Finale Ergebnisse der zweiten Welle liegen bis Sommer 2025 vor.

Öffentliche Förderprogramme müssen formell einer Erfolgskontrolle (inkl. Zielerreichung, Wirkung und Wirtschaftlichkeit) unterzogen werden (z. B. Verwaltungsvorschrift zu BHO § 7). Trotzdem sind evaluatives Denken und systematische Wirkungsorientierung oft unzureichend verankert. Insbesondere Programme, die auf Verhaltens- oder Einstellungsveränderungen abzielen, verfügen häufig über unklar operationalisierte Zielsysteme sowie eine mangelnde Verzahnung von Projekt- und Programmebene. Förderziele werden teilweise nur auf der Output-Ebene definiert und Programmsteuernde sind nicht ausreichend über Wirkungen der Maßnahmen informiert. Die Datensammlung zu Evaluationszwecken erfolgt oft erst spät im Projektverlauf.

Ein zentrales Dilemma ist, dass Projektförderungen typischerweise das Erproben von Handlungsansätzen und Innovationen ermöglichen sollen, während strategische Wirkungsorientierung klare Zielsetzungen erfordert. Die Herausforderung liegt darin, Zielsysteme zu definieren, die von den angestrebten gesellschaftlichen Veränderungen abgeleitet sind, den verschiedenen Projekten gerecht werden, Orientierung bieten, flexibel bleiben und dennoch programmweiten Austausch, Reflexion und Aggregation ermöglichen. Zugleich sind Projektträger:innen meist in mehreren Förderprogrammen aktiv und stehen damit vor der Herausforderung, übermäßige und unterschiedliche Berichtslegungsanforderungen bedienen zu müssen. Hier gilt es abzuwägen, welche Informationen begleitend in einem Monitoringsystem erfasst und genutzt werden können und welche Fragestellungen eher im Rahmen einer (externen) Evaluation zu beantworten sind. In jedem Fall sollte beides ineinandergreifen.

Wie kann es gelingen, Fördermittelgebende, Geförderte und Bewilligungsstellen so zu professionalisieren, dass Evaluation und Wirkungsorientierung selbstverständlich werden? Wie können unterschiedliche Verständnisse von Evaluation so überwunden werden, dass echte Reflexion und Weiterentwicklung möglich werden und Evaluation nicht zur bloßen Performanz des Messens wird?

Anhand von Beispielen aus unserer Evaluationspraxis u. a. in den Feldern Demokratieförderung und Kultur stellen wir Ansatzpunkte zum Umgang mit diesen Herausforderungen dar: (1) Fokussierung von wesentlichen, d. h. an Impacts orientierten, und zugleich klaren Zielvorgaben in Förderrichtlinien, (2) Entwicklung von Wirkmodellen in partizipativen Workshops mit den geförderten Projekten zum Programmstart, (3) verstärkte Einbindung von Fördergebenden, Bewilligungsstellen und Projektträgern in Evaluationsprozesse, (4) Bereitstellung digitaler Monitoringsysteme.

Anschließend kann diskutiert werden, welche Rolle evaluatives Denken bei der Professionalisierung auf Seiten von Fördermittelgebenden, Projektträgern und Bewilligungsstellen spielen sollte und welchen Beitrag dies für die Institutionalisierung von Evaluation leisten kann.

Evaluationen von Förderprogrammen untersuchen und bewerten in den meisten Fällen mehrere Aspekte: Neben der Betrachtung von Prozessen und Verfahren der Förderung sowie der Überprüfung der Förderwirkungen spielen auch Instrumente der Programmsteuerung wie Monitoring und Qualitätssicherung sowie das institutionelle Lernen eine große Rolle. Bei der Evaluation der Fachkräfterichtlinie des Sächsischen Staatsministeriums für Wirtschaft, Arbeit, Energie und Klimaschutz (SMWA) wurden diese Elemente kombiniert, um die weitere Umsetzung der Richtlinie zu unterstützen. Im Mittelpunkt der Fachkräfterichtlinie stehen seit 2016 die zwölf Fachkräfteallianzen, die selbstständig Programmmittel an Projektträger in ihren Regionen vergeben. Die Maßnahme wird damit kaskadierend vom SMWA über die Fachkräfteallianzen und die Projektträger umgesetzt. Diese Regionalisierung des Verfahrens in einer Art Multi-Level-Governance erlaubt viel Autonomie in den Regionen, führt aber auch zu einer großen Heterogenität in den Verfahren und Projekten, die aus Sicht einer übergreifenden Steuerung und Wirkungserfassung herausfordernd sein können.

Ziel der aktuellen Evaluation ist es, die Ergebnisse der Förderung durch die Fachkräfterichtlinie zu analysieren und zu bewerten. Untersucht werden die Arbeitsweise der Fachkräfteallianzen und die Kooperation mit den einzelnen Projektträgern, die Wirkungen auf die Wirtschaft in Sachsen und auf den Fachkräftemangel im Speziellen. Darüber hinaus werden die Rahmenbedingungen der Fachkräftesituation sowie die Effizienz und Effektivität einzelner Maßnahmenarten betrachtet. Dabei wurde auch die Frage thematisiert, wie die einzelnen Fachkräfteallianzen beim Monitoring und der Steuerung stärker unterstützt werden, um eine landesweite Wirkungsmessung der Maßnahmen zu ermöglichen.

Im Vortrag wird dies wie folgt reflektiert:

1. Gegenstand: Welche Eigenschaften des Evaluationsgegenstands fördern oder hemmen eine weitere Institutionalisierung von Monitoring und Evaluation?
2. Konzeption und Umsetzung: Welche Methoden und Verfahren wurden in der Evaluation eingesetzt, um diese Faktoren zu erkennen und künftig damit umzugehen?

Ziel des Vortrags ist es, am geschilderten Projektbeispiel die Besonderheiten von Evaluationen in einem regionalen Multi-Ebenen-System herauszuarbeiten, sowie dabei mögliche Erfolgsfaktoren und Herausforderungen aufzuzeigen.