Ziele des Seminars:

Die Teilnehmenden

• sind für die Problematik der Implementierungstreue in Evaluationen sensibilisiert und erkennen, unter welchen Bedingungen sie besonders relevant ist,
• kennen Kriterien, Ansätze und Instrumente zu ihrer Erfassung und
• kennen Strategien, um sie bei der Ergebnisanalyse und dem Ableiten von Empfehlungen angemessen zu berücksichtigen.

Ablauf und Inhalt des Seminars:

Wirkungen von Maßnahmen resultieren nie aus einem vorab entworfenen Plan, sondern nur aus dem, was praktisch umgesetzt wird. Allerdings werden sowohl innovative als auch verstetigte Maßnahmen oft nicht so umgesetzt, wie z.B. im Projektantrag, in einem Konzeptpapier, einer Verordnung oder einem Manual ursprünglich vorgesehen. Als Bezeichnung für die Diskrepanz zwischen Geplantem und Umgesetztem hat sich in den vergangenen Jahren der Begriff der Implementationstreue etabliert.

Völlig unabhängig von der Frage, ob solche Abweichungen im konkreten Fall ein Problem darstellen oder im Gegenteil völlig sinnvoll sein können, sollten Evaluationen den Aspekt der Implementierungstreue im Blick behalten. Denn sonst droht die Gefahr, dass sich formative ebenso wie summative Empfehlungen eher auf einen gedachten Idealzustand als auf die die Wirklichkeit zu beziehen. Demenstprechend fordern auch die aktuellen DeGEval „Standards für Evaluation“ die Berücksichtigung von Implementierungstreue.

Im Kurs werden daher folgende Inhalte behandelt:

• Begriff und Konzept der Implementierungstreue und verschiedener Spielarten (Ausführungsintegrität, Umsetzungstreue, fidelity of implementation; implementation integrity etc.)
• Ursachen und Folgen geringer Implementierungstreue auf Maßnahmenebene
• Vorteile der Berücksichtigung von Implementierungstreue in formativen und summativen Evaluationen
• Kriterien zur Operationalisierung und Methoden zur empirischen Erfassung von Implementierungstreue
• Berücksichtigung bei Datenanalyse und -interpretation sowie Ableitung von formativen und summativen Empfehlungen
• Normative Aspekte: Ist Implementierungstreue grundsätzlich erstrebenswert?

Zielgruppe des Seminars:

Praktisch tätige Evaluierende; Beratende und Lehrende im Evaluationskontext; Evaluationsinteressierte