Geflüchtete kommen in der Aufnahmegesellschaft an; Arbeitslose finden wieder Arbeit. Gesetzliche Rahmenbedingungen, Förder- und Unterstützungsprogramme, das Handeln öffentlicher und privater Organisationen und weitere Faktoren beeinflussen die Prozesse der gesellschaftlichen und der Arbeitsmarktintegration. Wie die beiden Beispiele erstrecken sich viele Gegenstände von Evaluationen über die Zeit. Wie können anwendungsorientierte Fragen über die Zeit hinweg untersucht werden? Dieser Beitrag beleuchtet eine Methode, die dies ermöglicht: das sog. Process Tracing. Die Beschreibung der Methode und die Argumentation des Beitrags erfolgt anhand von Evaluationen in den Feldern der Arbeitsmarktpolitik sowie der Migrations- und Integrationspolitik.

Process Tracing findet mittlerweile eine breite Aufmerksamkeit in den Sozialwissenschaften, wie in einem Buch von Alexander L. George und Andrew Bennett über Fallstudien und Theorieentwicklung oder von Frank Nullmeier über kausale Mechanismen und Prozessanalysen. Process Tracing unterteilt eine empirische Entwicklung in eine Abfolge von Stadien. Zentral für die Methode ist die Schlussfolgerung auf sog. kausale Mechanismen, die darlegen, wie die einzelnen Stadien miteinander verbunden sind. Auf einer ersten Stufe werden zeitliche Abfolgen, Geschwindigkeiten und Sequenzen von Entwicklungen beschrieben. Eine zweite Stufe deckt Zwischenschritte eines Ursache-Wirkungs-Zusammenhangs auf. Schließlich werden auf einer dritten Stufe konkurrierende Theorien dazu genutzt, um anhand kausaler Mechanismen die Art und Weise zeitlicher Abfolgen zu erklären.

Der Beitrag argumentiert, dass Process Tracing auf der zweiten Stufe eine effektive und effiziente Methode ist, um die Entwicklung eines Evaluationsgegenstandes über die Zeit hinweg zu erfassen. Die erste Stufe von Process Tracing ist hierfür eine wichtige Voraussetzung, bleibt für sich genommen aber rein deskriptiv. Die dritte Stufe leistet eine umfassende Erklärung empirischer Entwicklungen, die jedoch hohe Anforderungen an die theoretische Einbettung einer Untersuchung stellt, die in anwendungsorientierten Evaluationen oft nicht erfüllt werden kann – und auch nicht erfüllt werden muss. Ein theorieorientiertes Vorgehen bleibt dennoch auch auf der zweiten Stufe relevant. Mit der Beschreibung zeitlicher Abfolgen, deren theoretischer Einbettung und der Analyse von Wirkungsmechanismen ermöglicht Process Tracing die Evaluation eines Gegenstandes über die Zeit hinweg.

Evaluationen sind in der Regel auf die IOOI-Systematik, also Input-Output, Outcome, Impact ausgerichtet. Die große Herausforderung bei dieser Systematik ist, dass im Evaluationszeitraum von 3-5 Jahren selten Impact messbar ist, da dieser meist erst lange nach Projektende eintritt oder sichtbar wird. Die Untersuchung diskursiver Dynamiken, unter denen Programmziele entstehen, verhandelt und transformiert werden, kann hier eine sinnvolle Erweiterung darstellen. Programmziele werden in koordinativen Aushandlungsprozessen zwischen Ministerien, Intermediären und Zuwendungsempfängern fortlaufend reinterpretiert. Eine diskurstheoretisch informierte Evaluation kann diese Dynamiken systematisch erfassen und die Grundlage für eine reflexivere Steuerung von Innovationsförderung legen. Der Beitrag soll die Frage beantworten, ob sich die Untersuchung diskursiver Dynamiken als Methode frühzeitiger Impact Evaluation eignen.

Hierfür werden zwei komplementäre theoretische Rahmungen genutzt: Maarten Hajers Konzept der Diskursinstitutionalisierung beschreibt, wie diskursive Konstruktionen schrittweise in institutionelle Praktiken eingeschrieben werden und dadurch die Rahmenbedingungen evaluativer Urteile mitbestimmen. Vivien Schmidts Unterscheidung zwischen koordinativem Diskurs – der Aushandlung von Policies unter Akteuren – und kommunikativem Diskurs als öffentlicher Legitimationskommunikation ergänzt dies um eine akteurszentrierte Perspektive. Beide Rahmungen zusammen erlauben es, die diskursive Genese von Wirkungserwartungen zu rekonstruieren.

Die Zeitdimension erweist sich dabei als analytisch zentral: Diskurse institutionalisieren sich über Zeit, verlagern sich und reagieren auf externe Ereignisse – noch bevor messbare Outcomes entstehen. Veränderungen in der Sprache der Akteure, in der Rahmung von Zielen oder in der Legitimationsrhetorik lassen sich als Frühindikatoren für spätere Wirkungen lesen. Längsschnittliche Diskursanalysen zu verschiedenen Phasen der Programmimplementierung können eine zeitlich robustere Ergänzung zu herkömmlichen Wirkungsmessungen darstellen.

Ex-ante Entscheidungen und Ex-ante Evaluationen

Forsight-Methoden der Evaluation

Johann Behrens, Halle-Wittenberg

Entscheidungen werden in aller Regel ex ante getroffen. Die Evaluationen, die von Entscheidern oft herangezogen werden, sind dagegen überwiegend retrospektiv. Die von evaluierenden Wirtschaftsprüfungs-Gesellschaften testierte Bilanz, die die meisten Entscheidenden für unerlässlich halten, beschränkt ihre Geltung ausdrücklich auf einen Tag, den Bilanzstichtag, und keinen Tag länger. In Wirtschaft, Politik, in sozialarbeiterischen, therapeutischen, pflegerischen und medizinischen Behandlungen soll aber die ex ante Entscheidung evidence-basiert sein und nicht einfach aus oft wenig evident begründeten Annahmen über die Zukunft in Szenarien abgeleitet und formuliert sein. Evidence-Basierung ihrer Entscheidungen behaupten und beanspruchen im 21. Jahrhundert fast alle genannten Entscheidenden. Die Annahmen über die Zukunft sollen also evident begründet sein. Wie einer der Gründervater der Evaluation, L.J. Cronbach, 1982 betonte, setzt die Nutzung von Evaluation für Entscheidungen die methodische Lösung eines Problems voraus - des Problems der Übertragbarkeit von einer Feldstudie auf eine (künftige oder gleichzeitige) Situation, für die entschieden werden soll. Für die Lösung formuliert Cronbach 1982 Bedingungen, die aber im Vortrag als nicht vorhersehbar kritisiert werden. Stattdessen werden zwei Generalisierungen von experimentellen Feldstudien auf zukünftige Situationen ausgeführt. Generalisierung 1 verallgemeinert von vielen Feldstudien auf die externe Evidence einer allgemeinen Theorie, die (natur-)gesetzliche Zusammenhänge formuliert, wie sie in Zukunft gelten. Dafür ist die Physik ein Beispiel mit ihren Ex-ante-Evaluationen zur Klimapolitik. Die meisten therapeutischen, ökonomischen und politischen Entscheidungen sind allerdings Entscheidungen für den Einzelfall, für den keineswegs hinreichend viele Naturgesetze zur Verfügung stehen. Für diese Einzel-Entscheidungen ist in der Generalisierung 2 interne Evidence methodisch evaluierend aufzubauen, wie der Vortrag an Beispielen darlegt.

Literatur

Cronbach, L.J. (1982): Designing Evaluations of Educational and Social Programs, San Francisco

Behrens, J. (2015): ”Natürlichkeit” und ”Generalisierbarkeit” sozialwissenschaftlicher Feldexperimente, Journal Soziale Welt, 22, S. 246 – 267

Behrens, J. (2025): EbM+Theorie, monitor versorgungsforschung 2/2025