Conference Agenda

Ziele des Seminars: Die Teilnehmenden ...

• kennen verschiedene Varianten von Wirkungsmodellen und ihre Stärken und Schwächen,
• kennen relevante Fachbegriffe wie z.B. Mechanismus, Wirkungskette, Theory of Change/Action, Moderator, Mediator und verstehen ihre Rolle für Vorhersage und Analyse von Wirkungsbeziehungen,
• können ausgehend von einfachen Wirkungsketten differenzierte Wirkungsbeziehungen und Mechanismen in ein Wirkungsmodell integrieren,
• kennen Methoden, um dabei relevantes Forschungswissen ebenso wie die Expertise der Praxis einzubeziehen,
• können dabei Anwendungen künstlicher Intelligenz (KI) verantwortungsvoll zur Unterstützung nutzen,
• verstehen Anwendungsmöglichkeiten in der Maßnahmenentwicklung und für verschiedene Evaluationszwecke, u.a. im Kontext von Ansätzen wie Realistic Evaluation, Process Tracing oder Contribution Analysis.

Zielgruppe: Evaluationsinteressierte sowie Projekt- und Programmentwickelnde mit Grundwissen im Bereich Wirkungsmodelle (logisches Modell, Theory of Change)

Inhalte: Wirkungsmodelle sind heute aus der Evaluation nicht mehr wegzudenken. Sowohl für die evaluierte Maßnahme als auch in der Evaluation sind sie vielseitig einsetzbar, entsprechend groß ist die Formenvielfalt von Wirkungsmodellen in der Praxis. Am bekanntesten sind Varianten des einfachen logischen Modells wie z.B. Wirkungstreppe oder Programmbaum, die mit Hauptkomponenten wie Input, Aktivitäten, Outputs und Outcomes einen schnellen Überblick über Grundidee und Ablauflogik einer Maßnahme ermöglichen.

Einfache Modelle kommen aber schnell an ihre Grenzen, wenn es etwa darum geht,

• Bedingungen des Zustandekommens und Ausbleibens von Wirkungen zu antizipieren und zu erklären,
• Schwachstellen des Programmkonzepts aufzudecken und Verbesserungsansätze zu finden,
• Voraussetzungen für den Transfer von Maßnahmen auf andere Kontexte zu benennen oder
• die Wirksamkeit von Maßnahmen plausibel zu belegen, wenn aufwändige Untersuchungsdesigns nicht realisierbar sind.

Für diese und weitere Zwecke ist es erforderlich, differenziertere Wirkungsbeziehungen und Kausalmechanismen zu identifizieren, die die Wirksamkeit und die Wirkungsweise von Programmen und Projekten maßgeblich beeinflussen („what works for whom and how?“). Dies zeigt sich auch in der Rolle, die Mechanismen in verschiedenen aktuellen programmtheoriebasierten Ansätzen wie Realistic Evaluation, Process Tracing oder Contribution Analysis spielen.

In der Praxis ist es aber oft herausfordernd, die relevanten Wirkungsbeziehungen und –mechanismen aufzuspüren, herauszuarbeiten und in ein zweckgemäßes Modell zu integrieren. Im Kurs werden daher folgende Inhalte behandelt:

• Wann und warum sind differenzierte Wirkungsmechanismen wichtig für Maßnahmenplanung und Evaluation?
• Welche Variationen von Wirkungsmodellen (z. B. logisches Modell, Programmtheorie, Theory of Change, Theory of Action) gibt es und welche eignen sich für welche Zwecke?
• Was genau sind Wirkungsmechanismen, Mediatoren und Moderatoren und welche Rolle spielen sie in Evaluationsansätzen wie Realistic Evaluation, Process Tracing oder Contribution Analysis?
• Wie lassen sich ausgehend von einfachen Wirkungsketten Wirkungsmechanismen, die einen wesentlichen Einfluss auf Wirksamkeit und Wirkungsweise der Maßnahme haben, identifizieren und visuell darstellen?
• Wie kann dabei systematisch sowohl Erfahrungswissen aus der Praxis als auch Forschungswissen aus dem Gegenstandsbereich der Maßnahme integriert werden?
• Wie können KI-Chatbots wie z.B. ChatGPT verantwortungsvoll zur Unterstützung der Modellentwicklung genutzt werden?

Teilnehmende sollten möglichst einen eigenen Laptop mit Internetzugang und Zugang zu einem gängigen KI-Chatbot wie z.B. ChatGPT, Claude, Gemini oder CoPilot mit in den Kurs bringen.