Pilotprojekte weisen aufgrund ihrer kurzen Laufzeit spezifische methodische und strukturelle Herausforderungen für die Evaluation auf. Die zeitliche Begrenzung führt dazu, dass zentrale Entwicklungsphasen – Konzeption, Implementationsaufbau und erste Wirkentfaltungen – in sehr rascher Abfolge stattfinden und daher nur punktuell empirisch erfassbar sind. Dadurch verschiebt sich der Fokus von der summativen Wirkungsprüfung hin zu einer formativen Analyse von Implementationsprozessen, Programmeigenschaften und frühen Wirkmechanismen.

Gleichzeitig erwarten Auftraggebende bereits nach kurzer Umsetzungszeit fundierte Entscheidungsgrundlagen – insbesondere im Hinblick auf Weiterführung oder mögliche Regelfinanzierungen. Evaluationen müssen daher trotz begrenzter Datenlage und laufender Projektentwicklung plausible, nachvollziehbare und verantwortbare Einschätzungen liefern.

Die dynamische Entwicklung von Pilotprojekten erfordert adaptive Evaluationsdesigns, die auf unvollständige Wirkungsketten, sich verändernde Zielsetzungen und unterschiedliche Kontextbedingungen reagieren können. Dabei zeigt sich, dass kurze Laufzeiten weniger die Methoden begrenzen als vielmehr die Art des Wissens, das empirisch zugänglich ist: Gut evaluierbar sind vor allem das Wie und Warum früher Projektverläufe sowie erste plausible Wirkmechanismen. Aussagen zu längerfristigen Wirkungen bleiben dagegen notwendigerweise hypothesen- und modellbasiert, da hierfür in frühen Phasen die empirische Grundlage fehlt.

Auf Basis von mehr als zehn Evaluationen von Pilotprojekten im Auftrag von Förderstiftungen und der öffentlichen Hand – meist mit Laufzeiten unter zwei Jahren, begrenzten Budgets und hohem Erwartungs- und Berichterstattungsdruck – werden zentrale Erfahrungen und «Lessons Learned» vorgestellt. Dazu gehören der Umgang mit ambitionierten Erwartungen an frühe Resultate sowie der häufig vorhandene politische und strategische Erfolgsdruck im Hinblick auf erwartete Wirkungen, die oft relevant für Entscheidungen zur Weiterführung oder Regelfinanzierung sind. Anhand verschiedener Beispiele wird zudem illustriert, wie trotz begrenzter Datenlage erste plausible Wirkmechanismen identifiziert und evidenzbasiert begründet werden können.

Abschliessend werden die gewonnenen Erkenntnisse vor dem Hintergrund der DeGEval-Standards reflektiert und nach Möglichkeit Implikationen für die Gestaltung zukünftiger Evaluationen von Pilotprojekten im Plenum diskutiert.

Zeitliche Bedingungen für die Nützlichkeit von Evaluationen: Erfahrungen aus der Evaluation der Bewegungsrevolution

Hintergrund

Die „Bewegungsrevolution“ schafft in der Steiermark innovative Bewegungsangebote und bewegungsfreundliche Settings. Ein Pilotprojekt lief ab Mai 2023 über 18 Monate und wurde extern evaluiert, um die Wirksamkeit, die langfristige Umsetzbarkeit und Nachhaltigkeit der Maßnahmen zu prüfen. Die Evaluation wurde erst zur Halbzeit der Umsetzung im Dezember 2023 beauftragt; der Bericht sollte vier Monate nach Ende der Pilotphase vorliegen. Als Entscheidungsgrundlage für eine Folgefinanzierung benötigten die Auftraggebenden aber Ergebnisse bereits vor Projektende, um Förderfristen und Richtlinien einzuhalten. Damit wurde die rechtzeitige Nutzung der Evaluationsergebnisse zu einer zentralen Herausforderung.

Methoden

Ein Mixed-Methods-Ansatz erfasste unterschiedliche Perspektiven und Wirkdimensionen. Eine Dokumentenanalyse von 741 Aktivitäten deckte auch die erste Hälfte der Umsetzungszeit ab. Mit Gemeindeverantwortlichen fanden 25 qualitative Telefoninterviews statt. Bei Teilnehmenden, Übungsleitenden, Multiplikator*innen und Projektverantwortlichen wurden vier Online-Umfragen durchgeführt; 797 Fragebögen wurden ausgewertet. Ein verändertes Bewegungsverhalten schätzten die Befragten im Vergleich zu der Zeit vor Projektbeginn selbst ein. Auf Basis der Ergebnisse wurden vorläufige Empfehlungen entwickelt und mit Projektverantwortlichen und Auftraggebenden reflektiert.

Ergebnisse

Die Evaluation zeigte, dass bestehende regionale Sportstrukturen genutzt und gestärkt wurden. Es wurden eher bewegungsfreudige Zielgruppen angesprochen. Innovative Kleinprojekte erreichten auch benachteiligte Gruppen. Gemeinden erwiesen sich als zentral für eine nachhaltige bewegungsförderliche Gestaltung von Settings.

Schlussfolgerungen

Empfehlungen der Evaluation bezogen sich auf die gesundheitsförderliche, chancengerechte und nachhaltige Gestaltung von Sportangeboten und betrafen die Zielgruppenerreichung, Verhältnisorientierung der Maßnahmen, Förderung innovativer Bewegungsangebote sowie Öffentlichkeitsarbeit. Der flexible Einsatz von Evaluationsmethoden sowie vorläufige Empfehlungen ermöglichten die vorzeitige Nutzung der Ergebnisse als Grundlage für die nahtlose Projektweiterführung. Dabei waren für die zeitliche Umsetzung der Evaluation weniger die Projektlaufzeit als übergeordnete Rahmenbedingungen wie Förderrichtlinien und Entscheidungsfristen relevant.

Problemstellung: Das deutsche Forschungszulagengesetz (FZulG) wurde 2020 eingeführt und verpflichtete den Gesetzgeber zur Evaluation binnen fünf Jahren. Diese Konstellation erzeugt einen strukturellen Zeitdruck: Wirkungen steuerlicher FuE-Förderung manifestieren sich typischerweise mit erheblichen Zeitverzögerungen. Die gesetzlich vorgegebene Evaluationsfrist kollidiert mit den zeitlichen Anforderungen belastbarer kausaler Wirkungsnachweise – insbesondere bei Output- und Verhaltensadditionalität.

Vorgehen: Die Evaluation (KMU Forschung Austria, WIFO, ifo Institut; Auftraggeber: BMF und BMBF) kombinierte mehrere methodische Zugänge: (1) Analyse administrativer Prozessdaten der Bescheinigungsstelle Forschungszulage (BSFZ) und der Finanzverwaltung; (2) Verknüpfung von Surveydaten (Mannheimer Innovationspanel/ZEW, FuE-Erhebung des Stifterverbands) mit BSFZ-Daten zu einem Evaluierungspaneldatensatz (EVALDAT); (3) kausalanalytische Schätzungen mittels Difference-in-Differences (DiD), Propensity Score Matching (PSM) und Difference-in-Difference-in-Differences (DDD) sowie (4) qualitative Unternehmensinterviews zur Verhaltensadditionalität.

Hauptargumente: Trotz kurzer Laufzeit sind signifikante Input-Additionalitätseffekte nachweisbar: Antragstellende Unternehmen erhöhten ihre FuE-Ausgaben signifikant stärker als vergleichbare Nicht-Antragsteller, mit besonders ausgeprägten Effekten bei KMU. Output- und Verhaltensadditionalität bleiben methodisch unterbelichtet – nicht wegen fehlender Wirkungen, sondern aufgrund unzureichender Dateninfrastruktur und zu kurzer Beobachtungszeiträume. Der Beitrag diskutiert, wie Evaluationsdesigns auf zeitbedingte Datenlücken reagieren und welche Infrastrukturinvestitionen (Datenverknüpfung, Längsschnitterhebungen) für belastbare Folgeevaluationen notwendig sind.

Evaluationsfokus: Der Beitrag reflektiert das Spannungsfeld zwischen gesetzlich verordnetem Evaluationszeitraum und methodisch gebotenen Beobachtungshorizonten und zeigt exemplarisch, wie Erstevaluationen als Grundlage für evidenzbasierte Folgeevaluationen konzipiert werden können.