Wirkungsmodelle sind heute allgegenwärtig in Evaluation und Programmförderung. In der Praxis dominieren Varianten des logischen Modells, das Inputs, Aktivitäten, Outputs und Outcomes in einer linearen „Pipeline“-Logik sequenziell verkettet.

Die aktuelle Praxis bringt allerdings, oft unter Anwendung eines „fill out approach“, der selbst wenig Erfahrenen das Erstellen einer „Programmtheorie“ ermöglichen soll, häufig irreführende, unplausible und wenig nützliche Wirkungsmodelle hervor. Viele Probleme haben mit dem Faktor Zeit zu tun:

1. Verkettete Wirkungslogiken („Kaskadenlogik") werden im logischen Modell als gleichzeitig modelliert, obwohl sie kausal voneinander abhängen.
2. Die fehlende oder starr vorgegebene Differenzierung von Outcomes (kurz-, mittel-, langfristig) ist zeitlich diffus und verhindert eine angemessene Darstellung von vermittelnden Variablen (Mediatoren).
3. Die Frage, inwiefern Wirkungen einem zeitlichen Verlauf unterliegen (z.B. fade-out-Effekt), wird oft ignoriert, womit stillschweigend eine Stabilisierung des Erreichten vorausgesetzt wird.
4. Wirkungsmodelle werden oft nicht an Veränderungen im Programmverlauf angepasst.

Weitere häufige Probleme sind:

5. Wirkungen werden häufig nicht nach Zielgruppen differenziert, was den Fokus für Programmumsetzung und Evaluation verwischt.
6. Selbst elaboriertere Modelle enthalten oft keine Moderatoren und ignorieren damit wirkungsrelevante situative Einflüsse.
7. Theoretisches Wissen zum Forschungsstand, etwa zu Bedingungen einer intendierten Verhaltensänderung von Zielgruppen, wird kaum explizit genutzt.
8. Wirkungsmodelle werden nach ihrer Erstellung nur selten angemessen plausibilisiert und inhaltlich validiert.
9. Oft wird vorab nicht geklärt, von wem und für welche Zwecke ein Wirkungsmodell gedacht ist und ob dafür eine einzige Version ausreicht.
10. Schließlich wird oft die Relevanz einer angemessenen Darstellungsweise und die Semiotik von visuellen Elementen wie Pfeilen und Kätchen ignoriert.
Drei Hauptursachen sind für diese häufigen Probleme verantwortlich: Trivialisierung und Ritualisierung der Praxis, fehlende zeitliche Ressourcen sowie ein Unterschätzen der erforderlichen Kompetenzen.

Ausgehend von einer Darstellung der genannten Probleme anhand von Beispielen zeigt der Beitrag verschiedene Lösungsansätze auf u.a. in den Bereichen Reform von Projekt- und Programmförderlogiken, verantwortungsvolle Nutzung Künstlicher Intelligenz sowie systematischer und didaktisch begründeter Kompetenzaufbau.

Die Frage, was unter Wirkung zu verstehen ist, steht im Zentrum vieler Evaluationsansätze. In Praxis und Literatur existieren jedoch unterschiedliche Wirkungsdefinitionen. Zeit erscheint dabei häufig als implizite Eigenschaft von Wirkung, nicht jedoch als eigenständige analytische Dimension. Auch wenn Evaluationsmethoden wie Ex-post-Evaluationen oder Längsschnittstudien zeitliche Aspekte berücksichtigen, bleibt in vielen Wirkungsverständnissen konzeptionell unterbestimmt, ob Veränderungen über die Zeit bestehen bleiben, sich verstärken, abschwächen oder transformative Dynamiken auslösen.

Der Beitrag greift diesen Befund auf und stellt die Wirkungskonzeption der Welthungerhilfe vor. Darin wird Wirkung entlang von vier Dimensionen beschrieben: Reichweite (wie viele werden erreicht), Effektstärke (wie stark ist die Veränderung), Dauer (zeitliche Entwicklung von Veränderungen) und Gerechtigkeit (Verteilung innerhalb der erreichten Gruppen). Diese Dimensionen stellen keine normativen Bewertungsmaßstäbe dar, sondern analytische Perspektiven, die unterschiedliche Aspekte von Veränderung sichtbar machen und Trade-offs zwischen den Dimensionen offenlegen, um Wirkung im Kontext ihrer Nachhaltigkeit, Inklusivität und Systemrelevanz zu beurteilen.

Dieses Wirkungskonzept ist besonders relevant für Interventionen, die auf Systemveränderungen abzielen. Veränderungen in Institutionen, Märkten oder sozialen Normen entfalten sich über längere Zeiträume und lassen sich nur beurteilen, wenn ihre zeitliche Entwicklung berücksichtigt wird. Ohne diese Perspektive bleibt die Bewertung systemischer Wirkung unvollständig.

Zur Illustration dieser Perspektive wird der aktuelle Wirkungsbericht der Welthungerhilfe herangezogen. Grundlage bildet die Analyse von 316 Datensätze aus 188 Projekten der Jahre 2022–2024, die quantitativen Daten mit Post-Implementation Monitoring, Ex-post-Evaluationen und qualitativen Analysen kombinier, um die zeitliche Entwicklung von Veränderungen - einschließlich Persistenz, Abschwächung oder Verstärkung von Wirkungen - zu analysieren.

Der Beitrag argumentiert, dass Evaluationen, die die zeitliche Dimension von Wirkung systematisch ausblenden, Gefahr laufen, kurzfristige Resultate mit tatsächlicher Wirkung zu verwechseln - und damit ihrem Anspruch nicht gerecht werden, gesellschaftliche Veränderungen belastbar zu erfassen.

Hintergrund: Wirkungsaussagen setzen voraus, dass die Ursache der Wirkung zeitlich vorausgeht (Bradford-Hill-Kriterium „Temporality"). Dabei geht es nicht nur darum, dass Aktivitäten vor den Outcomes implementiert werden, sondern auch darum, dass kurzfristige Outcomes kausal die mittel- und langfristigen bewirken. Gottfredson et al. (2015) fordern eine explizite Theorie kausaler Mechanismen als Voraussetzung für Evidenz in der Präventionsforschung.

Fragestellung: Wie kann eine zeitlich-kausale Outcome-Struktur entwickelt werden, die explizite kausale Mechanismen zwischen Outcome-Ebenen abbildet und die Grundlage für eine spätere Wirkungsevaluation schafft?

Methode: Qualitative Fallstudie des intergenerationalen Programms „Post für Dich!" in einer ländlichen niederösterreichischen Gemeinde, mit leitfadengestützten Interviews, Fokusgruppe und Dokumentenanalyse, ausgewertet mittels hybridem thematischem Analyse-Ansatz (Braun & Clarke, 2012). Die theoriebasierte Outcome-Kategorisierung wurde vor der Datenerhebung aus Kirkpatrick-Taxonomie (Kirkpatrick & Kirkpatrick, 2016) und COM-B Modell (Michie et al., 2011) abgeleitet.

Resultate: Die Outcome-Struktur unterscheidet drei Ebenen: Veränderungen in Wissen, Einstellungen und Werten (Outcomes I) als Voraussetzung für Verhaltensänderungen (Outcomes II), die wiederum Voraussetzung für Veränderungen in der Lebenssituation (Outcomes III) sind. Der Mehrwert gegenüber rein zeitlicher Einteilung (kurz-/mittel-/langfristig) liegt in der Benennung kausaler Mechanismen: Outcomes I beschreiben Capability- und Motivationskomponenten (COM-B), die Verhaltensänderung erst ermöglichen — ohne diese ist ein Eintreten von Outcomes II nicht plausibel.

Interpretation: Die zeitlich-kausale Outcome-Struktur hat konkrete Konsequenzen für Evaluationszeitpunkt, Indikatorenauswahl und Ergebnisinterpretation. Sie gibt Evaluierenden Orientierung, welche Outcomes wann messbar sein sollten und welche Voraussetzungen erfüllt sein müssen, bevor distale Outcomes erwartet werden können. Die Vorgehensweise ist über den Gesundheitsförderungskontext hinaus übertragbar.