Evaluation soll der Wirkungssicherung und Praxisanpassung mit dem Ziel verbesserter Effektivität dienen. Die Eigenlogikenkomplexer Systeme verhindern jedoch oftmals die rationale, zielorientierte Steuerung zugunsten bestehender Handlungsmuster, Beziehungskonstellationen und Machtstrukturen. Unsere Evaluationsforschung in verschiedenen Arbeitsfeldern der katholischen Kirche in Deutschland zeigt, dass systemische Veränderungen in Richtung intendierter Wirkungen nicht durch die Evaluation einzelner Praxisfelder erreicht werden können. Implizite und explizite Faktoren, wie Richtlinien, Ressourcenflüsse, Machtdynamiken und mentale Modelle halten bestehende Muster aufrecht und sind daher als Konditionen des Wandels in die Steuerung miteinzubeziehen (vgl. Kania, Kramer, Senge 2018).

Neben der Produktion valider Daten für eine wirkungsorientierte Steuerung kirchlicher Praxis, geht das Kompetenzzentrum für pastorale Evaluation daher zunehmend dazu über, durch strategische Kommunikation und die Bereitstellung von digitalen Reflexionstools, mentale Modelle zu verändern, Indikatoren zu benennen und das Commitment zu steigern, um rationale Entscheidungen anzuregen. Die Rolle der Evaluator:innen verschiebt sich dadurch von einer Dienstleistung in Richtung einer eigenen Agenda der wirkungsorientierten Steuerung, zumal dann, wenn, wie oftmals im Falle kirchlicher Praxisevaluation, die Wirkungsziele nicht selbst gesteckt, sondern von Evaluator:innen erfragt werden.

Der Vortrag diskutiert,

- inwieweit es im eigenen und gesellschaftlichen Interessen von Evaluator:innen ist, selbst als Agent:innen von Wirkungsorientierung aufzutreten.

- inwieweit es im Sinne einer wissenschaftlichen Evaluationsforschung ist, selbst (abstrakte) Wirkungsziele für bestimmte Arbeitsbereiche festzulegen.

Dass Entscheidungen in Politik und Verwaltung auf wissenschaftlicher Evidenz basieren, ist zu einer generellen Erwartung geworden. Entscheidungen, für die unter anderem Evaluationen die Evidenz bereitstellen, sollen die Fähigkeit von Politik und Verwaltung erhöhen, gesellschaftliche Probleme zu lösen. Neben dieser inhaltlichen Erwartung an die Wissenschaft ist auch die Art und Weise der öffentlichen und politischen Debatte an Wissenschaftlichkeit orientiert. Dennoch bleiben Interessen und Werten für Entscheidungen in der Politik und deren Umsetzung durch die Verwaltung von Relevanz.

Für Evaluationsstudien ergibt sich aus der skizzierten Situation einerseits, dass wissenschaftlich abgesicherte Erkenntnisse geschätzt werden, um Argumente zu stützen und Entscheidungen zu begründen. Andererseits bleibt die Umsetzung von Erkenntnissen aus Evaluationsstudien an Interessen und Werte gebunden. Daran anschließend stellt sich die Frage: In welchem Ausmaß sollen Evaluationsergebnisse wissenschaftlich abgesichert sein, wenn ihre Umsetzung ohnehin auch nicht-wissenschaftlichen Kriterien unterliegt? In unserem Beitrag gehen wir dieser Frage nach. Wir argumentieren, dass wissenschaftliche Methoden und valide Daten eine notwendige, jedoch keine hinreichende Bedingung dafür sind, dass Erkenntnisse aus Evaluationen zur Lösung gesellschaftlicher Probleme beitragen.

In unserem Beitrag zeichnen wir auf der Basis sozialwissenschaftlicher Literatur nach, dass wissenschaftliche Evidenz stets mit Unsicherheit behaftet ist, Entscheidungen in Politik und Verwaltung häufig gerade nicht rational getroffen werden, und die Bewertung, ob ein Problem gelöst ist, von Werten und Interessen abhängt. Folglich stellt ein angenommener Dreischritt von der Bereitstellung gesicherter Evidenz über politische Entscheidungen zur Lösung gesellschaftlicher Probleme eher die Ausnahme als die Regel dar. Evaluatorinnen und Evaluatoren sollten deshalb ihre (knappen) Ressourcen insbesondere auch dafür verwenden, ihre Evaluationsergebnisse gegenüber den Adressatinnen und Adressaten in Politik und Verwaltung zu vermitteln und an deren Orientierungen anschlussfähig zu machen, ohne dabei jedoch die Basis der wissenschaftlichen Evidenz zu verlassen. Das Verhältnis von Gewinnung und Vermittlung von Evidenz wird anhand empirischer Beispiele aufgezeigt.