Veranstaltungsprogramm

Ein zentrales Ziel von Evaluation ist, dass Empfehlungen, oftmals mit Blick auf die Optimierungs- und Entwicklungsfunktion von Evaluation, zur Vorbereitung politischer Entscheidungen oder allgemein zu Steuerungsmaßnahmen gegeben werden. Dabei bedient sich Evaluation zur Generierung der Erkenntnisse an einem breiten Repertoire an (sozial-)wissenschaftlich fundierten Forschungsdesigns, Datenerhebungs- und Auswertungsmethoden, auf Basis derer, im Sinne des DeGEval-Genauigkeitsstandards G8, die Schluss­folgerungen und letztendlich die Empfehlungen der Evaluation ausschließlich auf Grundlage der erhobenen und analysierten Daten nachvollziehbar und logisch abgeleitet werden sollen. Nicht selten jedoch zeigen sich speziell in Zusammenhang mit den Empfehlungen Akzeptanzprobleme. Denn auch wenn die jeweiligen Interessens­gruppen die empirischen Ergebnisse akzeptieren, so können sie die daraus abgeleiteten Empfehlungen nicht immer mittragen. Dies liegt beispielsweise daran, dass politische Entscheidungen nicht nur auf empirisch gewonnenen Erkenntnissen beruhen, Kontexte aus dem Fokus der jeweiligen Interessensgruppen unterschiedlich gewichtet werden oder grundsätzlich mehrere Interpretationsmöglichkeiten der Ergebnisse bestehen, unter anderem auch weil diese aufgrund einschränkender Rahmenbedingungen in Evaluationen praktisch kaum durch aufwändigere methodische Verfahren weiter abgesichert werden können.

Im Vortrag wollen wir auf der Basis unserer Evaluationen im Hochschulbereich Herausforderungen sowohl bei der Ableitung als auch bei der Kommunikation der Empfehlungen präsentieren. Als einen möglichen Weg die Akzeptanz der Empfehlungen bei den jeweiligen Interessensgruppen zu erhöhen, wollen wir die Vorteile sowie unsere Erfahrungen mit Akteur:innen-zentrierten Ansätzen, wie der „participatory evaluation“ und der „utilization-focused evaluation (Patton)” aufzeigen. Im Rahmen dieser Evaluationsmodelle können die Empfehlungen in einem Diskussionsprozess gemeinsam mit den Interessensgruppen erarbeitet werden, wodurch die Wahrscheinlichkeit der Umsetzung der Empfehlungen erhöht wird. Im Anschluss an den Vortrag wollen wir mit den Teilnehmer:innen die Chancen aber auch die Risiken dieser Modelle bzw. dieses Vorgehens bei der Lösung des Akzeptanzproblems diskutieren. In einer offenen Diskussion sollen dabei weitere oder auch konträre Evaluationsmodelle sowie die Erfahrungen der Teilnehmer:innen bei der Entwicklung und Formulierung von Empfehlungen aufgezeigt werden.

Die Frage, ob und in welcher Form Evaluations- und Forschungsergebnisse als Evidenz in (politischen) Entscheidungsprozessen bzw. der Implementation von Maßnahmen herangezogen werden, beschäftigt Wissenschaftler und Praktiker in verschiedenen Handlungsfeldern bereits seit Jahrzehnten. Empirische und konzeptuelle Beiträge, welche diese Übersetzungsprozesse rekonstruierbar, verstehbar und letztlich auch gestaltbar machen, sind u.a. im Rahmen der Forschung zu „evaluation use“, aber auch „data use“, „evidence-informed practices“ und „evidence-informed policies“ entstanden. Entsprechende Studien zeichnen ein vielfältiges und komplexes Bild der Bedingungsfaktoren, die zur stärkeren Wahrnehmung und Nutzung von Evaluations- und Forschungsergebnissen sowie Datenbeständen führen und verweisen auf sektorspezifische Besonderheiten im Umgang mit Evidenz. Ein zentrales Desiderat bleibt bislang die empirisch fundierte Untersuchung des Zusammenwirkens dieser Bedingungsfaktoren unter Berücksichtigung der Charakteristika von Evidenz und Evidenznutzern sowie der organisationalen und systemischen Spezifika des Entscheidungskontextes.

Anschließend an Überblicksstudien aus verschiedenen Anwendungsfeldern (exemplarisch Johnson et al. 2009, Oliver et al. 2014, Isett and Hicks 2020, Rickinson et al. 2022) analysieren wir auf der Grundlage eines Scoping Reviews exemplarisch für den Hochschul- und Forschungssektor, welche Faktoren Einfluss auf die Wahrnehmung und Nutzung von Evidenz nehmen. In unserem Beitrag untersuchen wir

(1) welche förderlichen und hinderlichen Faktoren in den Studien betrachtet werden und wie gut diese empirisch abgesichert sind,

(2) welche Wirkungszusammenhänge ggf. zwischen den Faktoren hergestellt werden,

(3) und inwiefern sich diese Faktoren zwischen der institutioneninternen Evidenznutzung an Hochschulen und Forschungseinrichtungen einerseits und der politikbezogenen Evidenznutzung andererseits unterscheiden.

Die Datengrundlage des Scoping Review bilden rund 100 nationale und internationale empirische Studien aus dem Zeitraum 2010 bis 2022, die im Rahmen systematischer Abfragen der Literaturdatenbanken Scopus und ERIC sowie der Sichtung einschlägiger deutschsprachiger Zeitschriften in einem Screening von mehr als 3000 Beiträgen identifiziert wurden. Die Volltexte der Studien werden derzeit auf der Grundlage eines theoretisch fundierten Kategoriensystems in MAXQDA codiert, die Daten extrahiert und anschließend in Form von Evidence (Gap) Maps ausgewertet.

Am Thünen-Institut für Ländliche Räume werden seit Ende der 1990er Jahre Evaluierungen von EU-geförderten ländlichen Entwicklungsprogrammen durchgeführt. In diesem Beitrag soll aus einem umfangreichen Evaluierungsprojekt berichtet werden, in dem für fünf Bundesländer über einen Zeitraum von neun Jahren Förderprogramme umfassend und begleitend evaluiert wurden. Der Schwerpunkt liegt dabei auf dem Arbeitsbereich „Ländliche Entwicklung“, dessen Zuständigkeitsbereich vorrangig die Evaluierung der Förderansätze LEADER und der Dorfentwicklungsprogramme in vier der fünf Bundesländer umfasst. Eine Besonderheit im Arbeitsbereich „Ländliche Entwicklung“ ist die große inhaltliche Vielfalt der umgesetzten Projekte, die zum Teil sehr unterschiedliche und schwer messbare Zielsetzungen verfolgen. Dennoch ermöglicht die ähnliche Konzeption der Maßnahmenevaluierung in den vier Bundesländern einen Vergleich der Ausgestaltung der Förderung und der daraus resultierenden Wirkungen unter Berücksichtigung der länderspezifischen Rahmenbedingungen.

Ob und inwieweit Evaluationsergebnisse allerdings zu Veränderungen im Fördersystem führen, hängt nicht nur von ihrer Validität ab. Anhand von Beispielen wird gezeigt, dass gut abgesicherte Ergebnisse und Handlungsempfehlungen auch dann in Frage gestellt werden, wenn sie von den Auftraggebern als „unbequem“ empfunden werden. Dies zeigt sich sowohl bei der Interpretation von Ergebnissen und Wirkungen von Maßnahmen als auch bei konkreten Ergebnissen zur administrativen Umsetzung. Ein Beispiel ist die Stichtagsregelung in einem Bundesland. Obwohl die dadurch erschwerte Projektumsetzung sowohl theoretisch als auch anhand von empirischen Ergebnissen eindeutig belegt ist und bessere Umsetzungsbeispiele aus einem anderen Bundesland vorliegen, wird deren Änderung vom zuständigen Ministerium abgelehnt. Diese Ablehnung geht dann mit Kritik u. a. an der Interpretation der Erhebungsergebnisse einher – obwohl der wesentliche Ablehnungsgrund ein vermeintlich erhöhter Verwaltungsaufwand ist. Wie wir mit diesen Konflikten umgehen, zu welchen Veränderungen sie in unserer Arbeit geführt haben und welche Lösungsstrategien im Laufe des langjährigen Evaluationsprojektes entwickelt wurden, zeigen wir in diesem Vortrag.