Im weiten Feld der Sozialen Dienstleistungen mehren sich Anforderungen an Evaluation zur rationalen und wissensbasierten Steuerung beizutragen und Aussagen über Wirkungen auf Basis von validen Daten zu treffen. Zugleich stoßen Evaluierende häufig auf Herausforderungen: So sind Ressourcen für Evaluationen oftmals knapp bemessen. Auch erprobte und standardisierte Konzepte sowie Verfahren sind vielfach nur bedingt verfügbar oder einsetzbar. Evaluierenden kommt die Aufgabe zu, vielfach bereits vorhandenen Datenmengen sinnvoll zu nutzen, einzuordnen und durch zu ergänzen. Zugleich gilt es dabei die unterschiedlichen, nicht leicht zu vereinbarenden Stakeholderinteressen und Haltungen zu Steuerungsmaßnahmen - u.a. von Partner*innen aus Praxis, Projektverwaltung, Politik und Auftraggebenden - angemessen zu berücksichtigen.

Die Session des AK Soziale Dienstleistungen widmet sich diesen Spannungsfeldern. Es sind dazu drei Inputs vorgesehen:

Zunächst wird Sebastian Ottmann, Institut für Praxisforschung und Evaluation/Evangelische Hochschule Nürnberg einen Einstieg ins das Thema geben. Im Vortrag „Steuerung in sozialen Dienstleistungen durch Evaluationen“ beleuchtet er Möglichkeiten der (wirkungsorientierten) Steuerung in sozialen Dienstleistungen durch Evaluationen und geht dabei sowohl auf potentielle Voraussetzungen als auch Herausforderungen ein. Es wird vor allem eine fachliche Perspektive herausgearbeitet: Evaluationen können und sollten nicht nur für die Steuerung aufseiten des Kostenträgers bzw. der Politik erfolgen, sondern insbesondere auch für eine interne fachliche Steuerung genutzt werden. Am Ende wird dargestellt, welche Ressourcen und Kompetenzen hierfür in sozialen Organisationen vorliegen müssen und wie externe Evaluierende die Organisationen beim Aufbau dieser Ressourcen und Kompetenzen unterstützen können.

Im Anschluss wird voraussichtlich Camelia Müller, Ostphalia Hochschule für angewandte Wissenschaft Erfahrungen aus der Evaluation von Sozialtrainings zum Sicherheitsgefühl im öffentlichen Raum berichten. Für einen dritten Input ist Björn Wenzel, Landeskriminalamt NRW angefragt wird, der Einblicke in das Feld der Evaluation von Gewaltpräventionsprogrammen liefern kann.

Im Anschluss sollen Herausforderungen und Potenziale von Evaluation als Beitrag zur wirkungsorientierten Steuerung in verschiedenen Feldern des Sozialen vergleichend beleuchtet und Gemeinsamkeiten in der übergreifenden Diskussion herausgearbeitet werden.

Für die Sicherstellung gerechter Prozesse und diskriminierungsfreier Lehr-Lern- sowie Arbeitsräume werden an staatlichen Hochschulen schon seit längerem Gleichstellungsbeauftragte eingesetzt. An der privat geführten Universität Witten/Herdecke (UW/H) wurde jedoch erst vor Kurzem mit einem Team von fünf Beauftragten für Gleichstellung und Vielfalt eine neue Struktur für die Bearbeitung dieses wichtigen Themenkomplexes geschaffen. Dabei geht die Zielsetzung anders als an den meisten anderen Hochschulen über eine reine Gleichstellung der binären Geschlechter hinaus und es werden möglichst alle Diversitätsdimensionen einbezogen.

Eine Evaluation sollte nun einen ersten Überblick über die Wahrnehmung und Bewertung der bereits bestehenden Angebote (z.B. Sprechstunden, Fortbildungen oder Netzwerktreffen) geben und etwaige Verbesserungspotentiale und zusätzliche Bedarfe der Teilnehmenden identifizieren. Ein weiteres Ziel waren Rückmeldungen zu Ausmaß und Kontexten von Diskriminierungserfahrungen, die Angehörige der Hochschulgemeinschaft im Unikontext machen. Der verwendete Fragebogen wurde von Mitarbeitenden und Studierenden unter einem Mixed-Methods-Ansatz individuell konzipiert um sowohl quantitative Einschätzungen zu im Vorfeld festgelegten Aspekten, als auch qualitative, offene Antworten zu explorativen Fragestellungen zu erhalten. Die Zielgruppe der Befragung war die gesamte Hochschulgemeinschaft und die Stichprobe bestand nach Datenbereinigung aus N = 266 Teilnehmenden, was einem Rücklauf von knapp 10% entspricht. Hierbei waren die Statusgruppen anteilig in etwa wie in der Hochschulgemeinschaft repräsentiert. Die Ergebnisse zeigten insgesamt, dass Fragestellungen rund um Gleichstellung und Vielfalt, wie gesamtgesellschaftlich wahrnehmbar, auch an der UW/H kontroverse und teils emotionale Einschätzungen hervorrufen. So wurde bei den quantitativen Items die gesamte Skalenbreite in einer umfassenderen Weise als üblich genutzt und auch die offenen Antworten spiegelten Bewertungen von starker Ablehnung bis zu sehr positiven Meinungen zu den Themenbereichen wider. Spezifische Desiderata sahen die Teilnehmenden vor allem in der Gestaltung der Lehre, der Frauen- und Familienförderung sowie bei Informationsangeboten.

Auf Basis der gewonnenen Erkenntnisse werden die bestehenden Angebote von den Verantwortlichen angepasst. Zudem werden weitere Projekte zu Chancengleichheit und Antidiskriminierung initiiert, die dann perspektivisch ebenfalls evaluiert werden sollen.

Die Verwirklichung von Menschenrechten und Geschlechtergerechtigkeit sind in den meisten Parteien Konsens. Insbesondere in der Außen- und Entwicklungspolitik wurde diese Ausrichtung jüngst durch die Festlegung auf eine feministische Politikorientierung bestärkt. Entsprechend steigen Erwartungen an Evaluationen, relevante Informationen bereitzustellen und selbst im Sinne der Menschenrechte und Geschlechtergerechtigkeit vorzugehen.

Ein Review zur Evaluationspraxis in der Entwicklungszusammenarbeit zeigt jedoch, dass die Umsetzung von Menschenrechten und Geschlechtergerechtigkeit sowohl auf der Ebene der Evaluationsfragen als auch auf der Ebene der Evaluationsprozesse noch lückenhaft ist. Mit Blick auf die Evaluationsfragen soll eine bald erscheinende Handreichung der OECD Orientierung dazu geben, wie Menschenrechte und Geschlechtergerechtigkeit entlang der Evaluationskriterien verankert werden können. Mit Blick auf den Evaluationsprozess bleiben jedoch Fragen: Welcher Aufwand ist damit verbunden, Menschenrechten und Geschlechtergerechtigkeit zu mainstreamen? Trägt dies zur Validität der Erkenntnisse bei oder bestehen Spannungsfelder mit anderen Evaluationsstandards? Und entsteht tatsächlich ein höherer Nutzen?

Vorhandene theoretische praxisorientierte Beiträge beantworten diese Fragen noch nicht hinreichend. Während theoretische Beiträge häufig einen starken Fokus auf das menschenrechtliche Prinzip der Partizipation legen und auf qualitative partizipative Methoden fokussieren, stellen einschlägige Handreichungen schwer erfüllbare Anforderungen an den Evaluationsprozess.

Aus unserer Sicht kann eine differenzierte Betrachtung mehrerer menschenrechtlicher Prinzipien wie Nicht-Diskriminierung und Chancengleichheit, Partizipation und Empowerment sowie Transparenz und Rechenschaftslegung dabei helfen, zielführende Designentscheidungen zu treffen. Für jedes dieser Prinzipien ist eine Unterscheidung nach (1) menschenrechts-/gender-sensibel, (2) menschenrechts-/gender-progressiv und (3) menschenrechts-/gender-transformativ möglich. Dieses differenzierte Raster erlaubt es, Stärken und Schwächen einzelner Evaluationsdesigns mit Blick auf Menschenrechte und Geschlechtergerechtigkeit zu beurteilen und diese auf ihre Implikationen für Aufwand, Validität und Nützlichkeit zu hinterfragen. Zugleich trägt eine solche Betrachtung dazu bei, realistische Wege zu einer stärkeren Umsetzung dieser Prinzipien in ganz unterschiedlichen Evaluationsdesigns und Politikfeldern aufzuzeigen.

Wissenschaftliches Arbeiten und ihre politische und gesellschaftliche Kontextualität werden spätestens seit Max Weber als ein Spannungsfeld der Sozialwissenschaften erkannt. Dies führt auch bei Evaluationen zu Herausforderungen, wenn Ansprüche der Methode, der Auftraggeber und der Zielgruppen in Konflikt treten. In den letzten Jahren sind zur Überbrückung dieses Widerspruchs vermehrt Ansätze der Partizipation aufgegriffen worden, um verschiedene Stakeholder in den Evaluationsprozess einzubeziehen. Doch werden damit Konflikte häufig nur in den Konzeptions-, Erhebungs-, Auswertungs- bzw. Interpretationsprozess verlegt. Hingegen ignorieren traditionell-positivistische Evaluationsansätze den Widerspruch und suchen Kompromisse zwischen einer vermeintlichen Methodenreinheit und einer auftragsgefälligen Forschung.

Wir möchten die gesellschaftliche und politische Rolle von Evaluation verorten, um von dort aus ihre Ziele und Methoden neu denken zu können. Anders als theoriegeleitete Wissenschaft kann die Evaluation von einer spezifischen Aufgabe ausgehen, um ihre Methoden im Verhältnis zu anderen Stakeholdern zu entwickeln und anzuwenden. Anstatt Auftraggeber*innen und Zielgruppen am Evaluationsprozess zu beteiligen, so schlagen wir vor, sollte sich die Evaluation am zu evaluierenden Gegenstand beteiligen und ihre wissenschaftliche Expertise auf die zu untersuchenden Wirkziele ausrichten.

Am Beispiel einer Programmevaluation diskutieren wir zunächst die Rolle von Evaluation in einem Politikfeldzirkel. Dabei argumentieren wir, dass alle Programmakteure – einschließlich der Evaluierenden – auf die Erreichung gemeinsamer Wirkziele festgelegt sind aber unterschiedliche Aufgaben erfüllen und dabei in spezifischen Beziehungen zueinander stehen. Davon ausgehend diskutieren wir wie Methoden der Evaluation einerseits zur Zielerreichung beitragen und andererseits die spezifischen Expertisen der Programmakteure einbeziehen können. Hierfür stellen wir Überlegungen zur Evaluation vor, mit denen sowohl die Zielerreichung als auch die Evaluation unterstützt werden und somit im partizipierenden Verfahren Synergien statt Konflikte hervorgebracht werden können. Schließlich diskutieren wir die Übertragbarkeit und (politischen) Grenzen dieses Ansatzes.

Hintergrund: Der INQA-Unternehmenscheck „Guter Mittelstand“ wurde im Rahmen der Initiative Neue Qualität der Arbeit (INQA) in Zusammenarbeit mit der Offensive Mittelstand (OM) entwickelt (Cernavin 2015). Als niedrigschwelliges, freizugängliches Selbstanalysetool richtet es sich primär an kleine und mittlere Unternehmen (KMU) und ermöglicht diesen die selbstgeleitete Bewertung des Unternehmens in zentralen arbeitswissenschaftlichen und betriebswirtschaftlichen Themenfeldern. Zudem hat sich in den vergangenen Jahren auch die Checkbearbeitung mit Begleitung durch eine/n Berater*in etabliert. Der Check deckt elf essenzielle Handlungsfelder ab, u.a. Personal, Führung, Strategie oder Markt und Kunde.

Forschungslücke: Der INQA-Unternehmenscheck ist ohne Registrierung von den Unternehmen als online-, App- oder Print-Version zugänglich. Allerdings mangelt es bislang an Daten, um die Wirkungen des Checks in den Betrieben sach- und fachgerecht beurteilen zu können.

Forschungsprojekt: Das Projekt „Evaluation der betrieblichen Anwendung des INQA-Unternehmens-checks ‚Guter Mittelstand‘“ befasst sich erstmals mit Fragen zu den Wirkungen des Checks. Um ein umfassendes Verständnis von der betrieblichen Anwendung des Unternehmenschecks zu erlangen, wird die selbstständige Bearbeitung (Anwendungsmuster ohne Beratung) mit der Begleitung durch eine/n Berater*in (Anwendungsmuster mit Beratung) kontrastiert.

Im Mittelpunkt stehen die betrieblichen Prozesse, die mit der Bearbeitung des Checks initiiert werden. Dazu werden mit Hilfe eines Mixed-Methods Design in zwei Teilstudien quantitative Daten (online Befragung) erhoben, die durch qualitative, hierarchieübergreifende Interviews angereichert werden. Ein anschließendes Daten-Matching soll die Validität der Ergebnisse steigern (Jick 1979). Die quantitativen Daten werden dabei nicht nur durch die qualitativen Daten komplementiert, diese können auch im Sinne eines „Vertiefungsmodells“ deren Interpretationstiefe optimieren (Mayring 2001). Durch diese Methodenkombination sollen im Ergebnis erfolgreiche betriebliche Vorgehensweisen abgeleitet werden.

Limitationen: Da Unternehmen für das Projekt rekrutiert neu werden mussten, besteht die Stichprobe nicht nur aus Unternehmen, die die Checkdurchführung initiativ anstrebten. Daher haben die erhobenen Daten keine Aussagekraft hinsichtlich der Frage, inwieweit das Instrument tatsächlich die intendierte Zielgruppe erreicht.

Wie kann ein Selbstevaluationstool aussehen, das das Gelingen von transformativer Forschung (TF) – also Projekte mit transdisziplinärer Zusammensetzung und dem Anspruch die sozial-ökologische Transformation der Gesellschaft zu befördern – evaluiert? Das war eine zentrale Fragestellung mit der sich die Forscherinnen des BMBF-geförderten Forschungsprojekts „Q-trans – Qualitätsmessung in transformativen Projekten“ (Förderlinie: Qualitätsentwicklung in der Wissenschaft, Laufzeit: 2019-2022) auseinandersetzten.

Als Ergebnis wurde ein fachkontextunabhängiges Selbstevaluationsinstrument in Form eines Fragebogens entwickelt, das indikatorengeleitet den Projektprozess und die -ergebnisse betrachtet und die Projektbeteiligten so gezielt auf Themen aufmerksam macht, die für das Gelingen eine Rolle spielen. Dadurch wird jede*r einzelne Nutzer*in des Selbstevaluationsbogens zur Reflexion anregt und kann ihr/sein Handeln entsprechend anpassen, um so das Gelingen des Projekts zu befördern.

Inhaltlich setzt sich das Selbstevaluationsinstrument aus sechs im Rahmen von Q-trans empirisch validierten Indikatoren zusammen, die für das Gelingen von TF relevant sind:

1. TF wird durch Treiber vorangebracht.
2. TF generiert System-, Ziel- und Transformationswissen bei allen Projektbeteiligten.
3. TF zeichnet sich durch transdisziplinäre Zusammenarbeit & Wissensintegration aus.
4. TF zeichnet sich durch nicht-hierarchische, kontinuierliche & transparente Kommunikation aus.
5. TF zeichnet sich durch iterative Reflexion aus.
6. TF generiert übertragbare & skalierbare Projektergebnisse.

Mit Blick auf den bestehenden Evaluationsbogen stellt sich nun die Frage: Welche Chancen bietet das Selbstevaluationstool? Aber auch, welche Grenzen für die Evaluation ergeben sich daraus? Der Kurzvortrag soll in einem Blitzlicht die Stärken und Schwächen des Evaluationsinstruments vorstellen und dabei auf die Möglichkeit der Anwendung des Tools in anderen Projektkontexten sowie für andere Fragestellungen eingehen.

Das Evaluationsvorhaben begleitet die Münchner Stiftung Kick ins Leben (SKiL) bei dem Aufbau von fünf schulzentrierten Netzwerken im Sinne lokaler Bildungslandschaften. Bildungslandschaften beziehen eine Vielzahl an Bildungsorten und -akteuren in die optimierte Förderung von Schüler:innen mit ein und deren Aufbau gilt es evaluativ zu begleiten.

Die Evaluation beschäftigt sich mit der übergeordneten Fragestellung, inwiefern die SKiL – als „philanthropischer“ Akteur im Bildungssystem – dazu in der Lage ist, schulzentrierte lokale Bildungslandschaften zu initiieren und welche Erfolgsfaktoren und Hindernisse innerhalb dieses Prozesses identifiziert werden können.

Die formative Evaluation erstreckt sich über drei Messzeitpunkte und folgt einem partizipativen Forschungsverständnis. Der Partizipationsansatz und die Verwendung eines Mixed Methods Designs (multiphase) zielen darauf ab, eine möglichst hohe Akzeptanz der Ergebnisse bei den Beteiligten und damit eine evidenzbasierte Steuerung des Kooperationsaufbaus zu erzielen.

Die Evaluation widmet sich zunächst der Frage, in welchem Ausmaß bereits Kooperationsstrukturen zwischen den Akteuren der SKiL, der Schule, der non-formalen Bildung und den Eltern bestehen (Context / QUAN). Für deren Beantwortung wurden 61 egozentrierte Netzwerke erhoben bzw. Akteure der SKiL hinsichtlich ihrer schulbezogenen Kooperationen befragt. Die Einbettung der Akteure in den Sozialraum Schule wurde auf mehreren Ebenen analysiert und gemeinsam mit dem Kooperationsmanagement in einer Interpretationswerkstatt diskutiert. Um die Veränderung der Kooperationsstrukturen zu untersuchen, wird dieselbe Analyse zu Messpunkt 3 erneut durchgeführt (Product / QUAN).

Zudem wurden zu Messzeitpunkt 1 Ziele und Maßnahmen für die Netzwerke in SKiL-internen Workshops erarbeitet und in problemzentrierten Triaden mit den Schulleitungen finalisiert (Input / QUAL). Anschließend wurde zu Messzeitpunkt 2 ein erster Zwischenstand der Zielerreichung ermittelt und die damit einhergehende Prozesssteuerung durch die SKiL in einer multiperspektivischen Interview-Reihe beleuchtet (Process / QUAL). Zu Messzeitpunkt 3 wird die finale Zielerreichung abschließend diskutiert (Product / QUAL).

Im Rahmen des Blitzvortrags wird der Gegenstand, das Design sowie ausgewählte Ergebnisse der ersten beiden Messzeitpunkte präsentiert. Anhand dieser soll das Potenzial partizipativer Mixed Methods Designs für Evaluationen und die Akzeptanz deren Steuerungsempfehlungen diskutiert werden.

Hintergrund:

Infolge der weltweit zunehmenden Konnektivität bietet der digitale Wandel eine einzigartige Gelegenheit, die Entwicklungsziele mithilfe neuer Technologien und Ansätze effizienter und effektiver zu erreichen. Mit dem Ziel, eine faire, menschenzentrierte digitale Transformation weltweit mit den Akteuren des digitalen Ökosystems zu gestalten, hat das BMZ das Thema "Digitalisierung in der Entwicklungszusammenarbeit" als Qualitätskriterium und Schwerpunkt in der BMZ-Reformstrategie 2030 verankert und mit Priorität versehen. Ziel ist es, die Chancen der digitalen Transformation für die deutsche Entwicklungszusammenarbeit zu nutzen und die Risiken zu minimieren.

Evaluierung von Wirkungen digitaler Ansätze:

Die Stabstelle Evaluierung der GIZ evaluiert aktuell zwei Digitalisierungsprojekte der GIZ:

1) Das Sektorprogramm "Digitale Entwicklung" berät und unterstützt das BMZ bei der Umsetzung zahlreicher Initiativen des Ministeriums entlang seiner veröffentlichten Digitalstrategie. Das Sektorvorhaben verfolgt das Ziel, Ansätze und Methoden der nachhaltigen digitalen Entwicklung verstärkt in das Portfolio der deutschen Entwicklungszusammenarbeit zu integrieren, um mehr Wirksamkeit, Partizipation und Transparenz zu erreichen.

2) Das Globalprogramm "Digitale Transformation" leistet Beiträge zur Operationalisierung der Digitalisierungsinitiative. Das Vorhaben setzt digitalpolitische Initiativen des BMZ weltweit um, um mit den Akteuren des digitalen Ökosystems eine faire, menschenzentrierte digitale Transformation zu gestalten.

Hinsichtlich des Erkenntnisinteresses an dieser Evaluierung hat die GIZ-Evaluierungseinheit einen doppelten Zweck formuliert: Einerseits sollen die Erfolge des Sektorprogramms auf der Grundlage der OECD-DAC-Kriterien dokumentiert werden, um zur Rechenschaftslegung und Legitimation beizutragen. Andererseits soll die Evaluierung Wirkungen der Digitalisierung auf Entwicklungs- und Transformationsprozesse identifizieren. Diese Wirkungen werden anhand bestimmter Flaggschiffe des Globalprogramms "Digitale Transformation" bewertet, die in der Inception Phase ausgewählt wurden. Die Evaluierung soll dazu dienen, Erkenntnisse über die Beiträge der Flaggschiffe zur digitalen Transformationsagenda des BMZ zu gewinnen und die Bedingungen zu identifizieren, unter denen die Digitalisierungsinitiativen am besten zu Entwicklungsergebnissen beitragen können.

Das Poster stellt den methodischen Ansatz und die Ergebnisse der Evaluierung vor.

Beteiligungsprozesse gehören seit über einem halben Jahrhundert zum Alltag der Stadtentwicklungspraxis, in Deutschland und international. Ebenso lang sind sie Gegenstand von Forschungsarbeiten. Wiederkehrend werden dabei Fragen nach den Wirkungen oder dem Erfolg der Beteiligung gestellt. Wirkungsvolle Beteiligung wird verschiedentlich als Handlungsziel benannt. Dennoch bleibt empirisches Wissen über Wirkungen von Beteiligungsprozessen in der Stadtentwicklung rar. In den vergangenen Jahren sind etliche Handbücher, Leitlinien und Qualitätskriterien erschienen; einer einschlägigen Wirkungsforschung wird jedoch anhaltend unterstellt, sie stecke in den Kinderschuhen. Vor diesem Hintergrund habe ich in meiner kürzlich veröffentlichten Dissertation Hemmnisse, Stellschrauben und Perspektiven für die Durchführung von Wirkungsanalysen zu Beteiligungsprozessen in der Stadtentwicklung ergründet.

Das Poster stellt das Vorgehen zur Untersuchung von Hemmnissen und Stellschrauben sowie Kernergebnisse dar. Zunächst wurden mögliche Hemmnisse für die Durchführung von Wirkungsanalysen mithilfe einer Kreativitätstechnik und Literaturarbeit gesammelt und mit Expert:innen in einem Workshop diskutiert. Darauf aufbauend sind 15 Thesen zu beeinflussbaren Hemmnissen entstanden, die im Rahmen einer Online-Befragung 90 Personen zur Gewichtung vorlagen. Anschließend erfolgte ein Vergleich der Ergebnisse in Auswertungsgruppen, unterschieden nach beruflichen Tätigkeitsschwerpunkten der Befragten und ihrem Sachverstand zu Beteiligungsprozessen, Stadtentwicklung sowie Wirkungsanalysen. In einem weiteren Schritt wurden Anregungen aus der Befragung ausgewertet und die 15 identifizierten Hemmnisse systemisch auf Wechselwirkungen untersucht. Dabei wurde auf den Papiercomputer und die Sensitivitätsanalyse nach Vester (1976, 1980, 1999) zurückgegriffen. Online-Befragung und systemische Untersuchung belegen, dass bedeutende Hemmnisse verschiedenartig sind und vielfältig ineinandergreifen. Mehr Ressourcen oder eine verbesserte Methodik allein führen demnach nicht zu mehr oder besseren Wirkungsanalysen. Als einzige Stellschraube, um entsprechende Analysen zu befördern, wurde das Setzen von Anreizen und Vorgaben identifiziert. Herausfordernd ist zudem, dass Aufwand und Nutzen von Wirkungsanalysen sowohl zeitlich als auch institutionell auseinanderfallen.

Die Bedeutung von digitalen Lösungsansätzen in der Entwicklungszusammenarbeit hat in den letzten Jahren deutlich zugenommen. Die erwarteten Wirkungen in der Projektumsetzung sind vielfältig und reichen von einer erhöhten Breitenwirksamkeit, Transparenz und Effizienz bis hin zur gesellschaftlichen Transformation. Die digitale Transformation in Partnerländern ist eine Chance, um globalen Herausforderungen effektiv zu begegnen. Allerdings hat sich die Digitalisierung in Entwicklungsprojekten fast ausschließlich darauf konzentriert, aufzuzeigen, dass innovative digitale Technologien eingesetzt werden können. Evidenz über die Wirkungen digitaler Lösungen und deren Mehrwert zur Erreichung von Projektzielen fehlen hingegen oft.

„Digital by Default“ beschreibt den seit 2018 in der GIZ umgesetzten Ansatz, digitale Lösungen in jedem neuen Projekt einzusetzen, wenn diese effektiv und nachhaltig Projektziele unterstützen sowie den Prinzipien „Do no harm“ und „Leave no one behind“ Rechnung tragen. Das digitale Portfolio der GIZ ist seither stetig gestiegen und umfasst mehr als 500 laufende Projekte in über 120 Ländern und verschiedenen Sektoren. Um die wirkungsorientierte Umsetzung des Digital by Default-Ansatzes zu unterstützen, hat die Stabsstelle Evaluierung zwischen 2019 und 2021 die Evaluierung "Harvesting Digital Service Results" durchgeführt. Die Evaluierung liefert einen ersten Zwischenstand: Wo stehen wir mit unseren Bemühungen, den digitalen Wandel in unseren Partnerländern zu unterstützen und was können wir künftig verbessern? Die Evaluierung besteht aus vier Modulen, die aufeinander aufbauen und Evidenzen zu unterschiedlichen Wirkungsebenen liefern. Die berücksichtigte Datengrundlage wurde dabei sukzessive erhöht.

Die Ergebnisse der Evaluierung zeigen, dass digitale Lösungen besonders häufig zu einem verbesserten Zugang zu Daten und Informationen, effizienteren Prozessen und einer höheren Reichweite der Leistungen beitragen. Seltener werden dadurch hingegen die Teilhabe und Inklusion der Zielgruppe gefördert sowie die Skalierbarkeit und Nachhaltigkeit von digitalen Lösungen erzielt. Der Aufbau von digitalen Kompetenzen, die Förderung der digitalen Infrastruktur und der Zugang zu digitalen Technologien stellen in Kombination mit einer Nutzer*innenzentrierung zentrale Erfolgsfaktoren dar. Dabei sollten digitale Lösungen in einen breiter angelegten Digitalisierungsrahmen eingebettet sein und Partner früh am Prozess beteiligt werden.

Evaluation soll der Wirkungssicherung und Praxisanpassung mit dem Ziel verbesserter Effektivität dienen. Die Eigenlogikenkomplexer Systeme verhindern jedoch oftmals die rationale, zielorientierte Steuerung zugunsten bestehender Handlungsmuster, Beziehungskonstellationen und Machtstrukturen. Unsere Evaluationsforschung in verschiedenen Arbeitsfeldern der katholischen Kirche in Deutschland zeigt, dass systemische Veränderungen in Richtung intendierter Wirkungen nicht durch die Evaluation einzelner Praxisfelder erreicht werden können. Implizite und explizite Faktoren, wie Richtlinien, Ressourcenflüsse, Machtdynamiken und mentale Modelle halten bestehende Muster aufrecht und sind daher als Konditionen des Wandels in die Steuerung miteinzubeziehen (vgl. Kania, Kramer, Senge 2018).

Neben der Produktion valider Daten für eine wirkungsorientierte Steuerung kirchlicher Praxis, geht das Kompetenzzentrum für pastorale Evaluation daher zunehmend dazu über, durch strategische Kommunikation und die Bereitstellung von digitalen Reflexionstools, mentale Modelle zu verändern, Indikatoren zu benennen und das Commitment zu steigern, um rationale Entscheidungen anzuregen. Die Rolle der Evaluator:innen verschiebt sich dadurch von einer Dienstleistung in Richtung einer eigenen Agenda der wirkungsorientierten Steuerung, zumal dann, wenn, wie oftmals im Falle kirchlicher Praxisevaluation, die Wirkungsziele nicht selbst gesteckt, sondern von Evaluator:innen erfragt werden.

Der Vortrag diskutiert,

- inwieweit es im eigenen und gesellschaftlichen Interessen von Evaluator:innen ist, selbst als Agent:innen von Wirkungsorientierung aufzutreten.

- inwieweit es im Sinne einer wissenschaftlichen Evaluationsforschung ist, selbst (abstrakte) Wirkungsziele für bestimmte Arbeitsbereiche festzulegen.

Dass Entscheidungen in Politik und Verwaltung auf wissenschaftlicher Evidenz basieren, ist zu einer generellen Erwartung geworden. Entscheidungen, für die unter anderem Evaluationen die Evidenz bereitstellen, sollen die Fähigkeit von Politik und Verwaltung erhöhen, gesellschaftliche Probleme zu lösen. Neben dieser inhaltlichen Erwartung an die Wissenschaft ist auch die Art und Weise der öffentlichen und politischen Debatte an Wissenschaftlichkeit orientiert. Dennoch bleiben Interessen und Werten für Entscheidungen in der Politik und deren Umsetzung durch die Verwaltung von Relevanz.

Für Evaluationsstudien ergibt sich aus der skizzierten Situation einerseits, dass wissenschaftlich abgesicherte Erkenntnisse geschätzt werden, um Argumente zu stützen und Entscheidungen zu begründen. Andererseits bleibt die Umsetzung von Erkenntnissen aus Evaluationsstudien an Interessen und Werte gebunden. Daran anschließend stellt sich die Frage: In welchem Ausmaß sollen Evaluationsergebnisse wissenschaftlich abgesichert sein, wenn ihre Umsetzung ohnehin auch nicht-wissenschaftlichen Kriterien unterliegt? In unserem Beitrag gehen wir dieser Frage nach. Wir argumentieren, dass wissenschaftliche Methoden und valide Daten eine notwendige, jedoch keine hinreichende Bedingung dafür sind, dass Erkenntnisse aus Evaluationen zur Lösung gesellschaftlicher Probleme beitragen.

In unserem Beitrag zeichnen wir auf der Basis sozialwissenschaftlicher Literatur nach, dass wissenschaftliche Evidenz stets mit Unsicherheit behaftet ist, Entscheidungen in Politik und Verwaltung häufig gerade nicht rational getroffen werden, und die Bewertung, ob ein Problem gelöst ist, von Werten und Interessen abhängt. Folglich stellt ein angenommener Dreischritt von der Bereitstellung gesicherter Evidenz über politische Entscheidungen zur Lösung gesellschaftlicher Probleme eher die Ausnahme als die Regel dar. Evaluatorinnen und Evaluatoren sollten deshalb ihre (knappen) Ressourcen insbesondere auch dafür verwenden, ihre Evaluationsergebnisse gegenüber den Adressatinnen und Adressaten in Politik und Verwaltung zu vermitteln und an deren Orientierungen anschlussfähig zu machen, ohne dabei jedoch die Basis der wissenschaftlichen Evidenz zu verlassen. Das Verhältnis von Gewinnung und Vermittlung von Evidenz wird anhand empirischer Beispiele aufgezeigt.

Um eine rationale, faktenbasierte Steuerung in Politik und Verwaltung zu ermöglichen, muss sich Evaluation den damit verbundenen Herausforderungen stellen. Da Politik, Verwaltung und Evaluation unterschiedlichen Handlungslogiken folgen, kann es zu einem „Culture Clash“ kommen. Im Panel sollen die unterschiedlichen Handlungsstrukturen diskutiert und ausgelotet werden, wie gegenseitige Erwartungen und Ansprüche besser aufeinander abgestimmt werden können.

Eine stärkere Evidenzbasierung bei Entscheidungen, die von Politik und Verwaltung getroffen werden, wird schon seit Jahren gefordert. Evaluationen sind dabei ein wichtiges Instrument, da mit ihrer Hilfe ein bestimmter Gegenstand (z. B. ein Gesetz, eine politische Maßnahme oder ein Projekt) auf Grundlage von empirisch gewonnenen Daten systematisch und kriteriengeleitet untersucht werden kann. So kann beispielsweise überprüft werden, ob die Ziele eines Gesetzes erreicht wurden oder welche Auswirkungen sich durch die Umsetzung einer politischen Maßnahme ergeben haben. Die im Rahmen von Evaluationen gewonnenen Ergebnisse werden bewertet und auf dieser Grundlage Handlungsempfehlungen formuliert, die beispielsweise darlegen, wie negative Auswirkungen vermieden oder die Zielerreichung verbessert werden kann. Dieses idealtypische Verständnis von Evaluationen trifft in der Praxis oft auf schwierige Rahmenbedingungen: Die für die Evaluation benötigten Daten stehen nicht zur Verfügung oder können nur mit erheblichem Aufwand erhoben werden. Wenn beispielsweise die im Rahmen eines Evaluationsprozesses gewonnenen Daten nicht den strengen Gütekriterien empirischer Forschung entsprechen, aber für den untersuchten Bereich bislang keine empirischen Ergebnisse vorliegen, stellt sich die Frage, wie mit den Ergebnissen umgegangen werden soll.

Vor diesem Hintergrund beschäftigt sich die diesjährige Session des AK Verwaltung mit der Frage, was Evaluationen für politische und administrative Entscheidungsprozesse tatsächlich leisten können. Im Rahmen von zwei Vorträgen sollen folgende Fragen erörtert und mit den Teilnehmerinnen und Teilnehmern der Session diskutiert werden:

• Welche methodischen Designs helfen dabei, dass Evaluationen einen Beitrag für evidenzbasierte Entscheidungen leisten können?
• Was sind die größten Herausforderungen bei der Durchführung von Evaluationen im politisch-administrativen Kontext?
• Wie werden die Schwächen der im Rahmen einer Evaluation gewonnenen Ergebnisse kommuniziert?
• Wie kommunizieren Auftraggeber solche Ergebnisse weiter?

Die Session wird von Markus Seyfried und Axel Piesker moderiert.

Die international vergleichenden Schulleistungsstudien (TIMSS, PISA, IGLU-PIRLS u. a.) sowie die innerdeutschen Vergleichsstudien (IQB) kommen zu robusten Ergebnismustern. International liegen Länder in Ostasien vorn, gefolgt von westlichen Ländern, deutlich schwächere Resultate finden sich in Lateinamerika, im arabisch-muslimischen Raum und Südasien sowie in Subsaharaafrika. Innerhalb Deutschlands liegen in West wie Ost die südlichen Länder vorne, schwächer sind Bremen und Berlin. Bis auf einzelne Staaten und Regionalerhebungen finden sich zuverlässige Ergebnisse, die auf ein allgemeines Fähigkeitsniveau hindeuten.

Eine andere Frage ist, was man aus diesen Studien über die Qualität von Unterricht und Bildungssystemen lernen kann und was sich verbessern lässt. Hier variieren die Positionen zwischen „nichts“, man kann aufgrund der nichtexperimentellen Anlage der Studien nichts über Ursachen und Verbesserungsmöglichkeiten lernen, „etwas“, einzelne Fragestellungen wie die Wirkungen von Zentralprüfungen lassen sich bei Kontrolle von anderen Merkmalen untersuchen, bis zu „viel“, die gegebene nichtexperimentelle Variation lässt sich mittels statistischer Verfahren analysieren und Kausalfaktoren lassen sich so bestimmen.

An letzteren Ansätzen zeigt sich aber geringes Interesse, sowohl in der Wissenschaft als auch in der Rezeption durch Medien und Bildungspolitik. Dies trifft insbesondere auf Analysen der Ursachen der innerdeutschen Unterschiede zu. Meines Erachtens können hierfür vier Gründe herangezogen werden:

(1) Methodische Fremdheit. In relevanten Disziplinen gibt es das Ideal der kleinen sauberen gut kontrollierten Studie mit Individualdaten.

(2) Politische Abhängigkeit. Institutionen aber auch einzelne Forscherinnen und Forscher sind in ihrer Forschung von politischen Entscheidungsträgern abhängig.

(3) Politisch-weltanschauliche Verzerrung. Die Sozialwissenschaften sind politisch stark in eine Richtung geneigt. Es ist schwierig, in einem solchen Milieu bestimmte Resultate zu artikulieren.

(4) Disziplinäre Fraktionierung, Wissensdefizite und Anpassung: Das Ideal der kleinen Studie, der Zwang zum Einwerben von Drittmitteln und der Publikationsdruck verengen den Horizont. Man ist in Forschung und Werdegang vom Urteil anderer im eigenen Feld abhängig.

Dies alles führt dazu, dass Schulleistungsstudien für eine rationale und wissensbasierte politische Steuerung der Politik (insbesondere Bildungspolitik) nicht angemessen genutzt werden.

Kindertageseinrichtungen können einen zentralen Beitrag zur Chancengerechtigkeit von Kindern leisten. Besonders positiv wirkt sich der Besuch einer Kindertageseinrichtung (Kita) auf die kindliche Entwicklung aus, wenn entsprechende Angebote qualitativ hochwertig ausgestaltet sind. Jedoch sind Regelungen zur Qualitätssicherung und -entwicklung in Kitas hinsichtlich der gesetzlichen Vorgaben sowie der praktischen Umsetzung in Deutschland sehr heterogen gestaltet. Auf Bundesebene liegt die Zuständigkeit zur Qualitätsentwicklung bei den jeweiligen ausführenden Organen der Länder, auf Landesebene variiert der Grad an gesetzlichen Vorgaben und in der Realität wird oftmals den Trägern von Kitas die zentrale Rolle bei der praktischen Ausgestaltung zugeschrieben.

Als konkrete Maßnahme zur Qualitätsverbesserung werden in diesem Beitrag die Verortung sowie die Verbreitung von Evaluationen in Kitas in den Blick genommen, da sie sowohl die politischen Entscheidungsträger als auch die Akteure im Feld auf unterschiedlichen Ebenen des Systems der frühkindlichen Bildung, Betreuung und Erziehung (FBBE) unterstützen und Entwicklungsprozesse langfristig verankern können. Hierfür werden zunächst die 16 Landesvorgaben recherchiert und anschließend die tatsächliche Umsetzung von interner und externer Evaluation anhand der ERiK-Surveys 2020 aus der Perspektive der Jugendämter, Träger und Leitungen von Kitas ausgewertet.

Die aus den heterogenen Vorgaben entstehende Unsicherheit in der konkreten Umsetzung von Evaluationsprozessen in Kitas spiegelt sich in den Befunden wider: Auf lokaler Ebene machen Jugendämter eher im geringen Maße konkrete Vorgaben zu Evaluationen. Gleichzeitig geben weder alle Träger Maßnahmen zur Evaluation vor, noch setzen alle Kitas Evaluation im pädagogischen Kontext um. Differenzen zwischen Vorgaben und tatsächlicher Durchführung werden sichtbar und in Kontext landesspezifischer Regelungen gesetzt.

Die ausgewählten Befunde zeichnen die komplexen Dynamiken lokalen Steuerungshandelns und damit einhergehende Verantwortungsbereiche der beteiligten Akteure nach. Auf dieser Grundlage erfordert die Entwicklung und Sicherung von Qualitätsprozessen im Feld der FBBE eine kohärente Steuerung. Der Beitrag diskutiert, wie die Umsetzung und Sicherung von Evaluationsprozessen gelingen kann und bezieht internationale Diskurse der FBBE und angrenzende Themenfelder mit ein.

Seit Jahrzehnten kann der Zustand der deutschen katholischen Kirche treffend mit einem Wort beschrieben werden: Krise. Ihre Mitgliederzahlen gehen stetig zurück, Personalmangel ist flächendeckend, das Image der Kirche in der Gesellschaft ist angeschlagen und die Bänke bei den Sonntagsgottesdiensten werden immer leerer. All das führt dazu, dass die Kirche ihrem volkskirchlichen Selbstbild nicht mehr gerecht werden kann, da sie die Mehrheitsbevölkerung immer weniger repräsentiert.

Die Lösung dafür sind systemische Reformen mit dem Ziel, eine moderne, gesellschaftsadäquate und lebendige Kirche zu schaffen. Doch diese Reformen, die mit einer Umsteuerung der Ressourcen einhergehen, implizieren die Störung tradierter organisationaler Routinen, punktuellen Stellenabbau, Fusion von Kirchengemeinden usw. Dieser aufwändige, komplexe und schmerzhafte Prozess erfordert eine klar definierte und messbare Zielsetzung sowie eine durchgehende und zuverlässige Begleitung – von der Messung des Ist-Zustands bis hin zur Beantwortung der Frage, ob die gesetzten Ziele erreicht wurden.

Zu diesem Zweck hat das Zentrum für angewandte Pastoralforschung das Modell der Vitalität religiöser Gemeinschaften entwickelt. Diese Vitalität wird durch vier Schlüsseldimensionen definiert: interne Funktionalität, geteilte Identität, situative Performanz und transformativer Einfluss. Alle vier Dimensionen werden operationalisiert und anhand eines Fragebogens zu zwei Zeitpunkten – dem Ist-Zustand zu Beginn der Evaluationsbegleitung und der Messung der Entwicklung – quantitativ gemessen. Der Anspruch des Modells ist universell: Es soll für unterschiedliche Organisationseinheiten der Kirche wie Innovationsprojekte, Stellen oder Organisationsroutinen gültig sein.

Die erste Validierung erfolgte im Rahmen von zwei unterschiedlichen Projektvorhaben mit insgesamt etwa 160 teilnehmenden Projekten und Stellen. Das Modell wurde einer Faktorenanalyse unterzogen, um seine Validität zu prüfen. Dabei ergab sich unter anderem, dass Einflussfaktoren wie geteilte Identität und situative Performanz sich empirisch als eigene Vitalitätsdimensionen bestätigen lassen. Außerdem wurden durch hierarchisch-agglomerative Clusteranalysen drei unterschiedliche typische Vitalitätsprofile von Projekten entdeckt, die jeweils unterschiedliche Wege zur Verfolgung ihrer Vitalitätsziele aufweisen. Es werden die Ergebnisse beider Analyseverfahren vorgestellt.

Under- und Overreporting (also die unwahre Quantifizierung realer Gegenstände durch Befragte entlang den Erwartungen sozialer Erwünschtheit) sowie Pseudo-Opinions (also die Angabe von Kenntnis und/oder Beurteilung von fiktiven Gegenständen) sind Phänomene, deren Persistenz in der empirischen Sozialforschung gut belegt ist und die, je nach Forschungsfrage, kleinere oder größere Probleme für die Validität von Befunden darstellen.

Ist in der Wahlforschung etwa das Overreporting von Wahlbeteiligung ein übliches Phänomen, dem unter anderem mit Gewichtungsverfahren begegnet wird, handelt es sich bei der Äußerung von Pseudo-Opinions in Befragungen um Indikatoren für die generelle Validität der Befragungsdaten: von Befragten, die bereit sind, Meinungen über Gegenstände äußern, zu denen sie – ob deren Fiktivität – gar keine Meinung haben können, sind auch weniger akkurate Beurteilungen gegenüber realen Gegenständen zu erwarten; je höher der Anteil dieser Befragten in einer Befragung ist, umso fraglicher erscheinen Befunde, die auf Basis der entsprechenden Befragungsdaten zutage gefördert werden.

Von besonderer Bedeutung sind die genannten Phänomene jedoch im Rahmen von quantitativen Gesamtnetzwerkanalysen. Hier entscheidet die Akkuranz der Antworten der Befragten wesentlich über alle Strukturparameter des Netzwerks. Unter- oder übertreiben etwa Befragte bei der Angabe ihrer Sexualkontakte, so wird ein Netzwerk, das Übertragungswege von Geschlechtskrankheiten abbilden soll, von der Wirklichkeit in grobem Ausmaß abweichen und für Analysen weitgehend untauglich sein.

In der Evaluationsforschung sind Untersuchungen der Validität quantitativer Daten von Gesamtnetzwerkanalysen mit einem Fokus auf die genannten Phänomene die Ausnahme. Als Desiderat ist dies insbesondere deshalb anzusehen, da sich Evaluationskontexte häufig durch spezifische Machtgefälle auszeichnen, in denen normative und bisweilen ökonomische Drücke für Evaluierte besondere Anreize darstellen, die Erwartungen von Evaluierenden zu antizipieren und entsprechend dieser Erwartungen, statt akkurat, zu antworten.

Im Rahmen des Vortrags werden die Ergebnisse eines quantitativen Methodenexperiments vorgestellt, die einerseits ein hohes Ausmaß von Pseudo-Opinions in der Listenabfrage einer Gesamtnetzwerkanalyse der Projekte des Bundesprogramms „Demokratie leben!“ darlegen und die andererseits auf möglicherweise generalisierbare Ursachen und Folgen dieses Validitätsproblems im Evaluationskontext verweisen.

In vielen Evaluationen spielen quantitative Befragungen zum Evaluationsgegenstand eine prominente Rolle, wobei häufig unklar ist, aus welcher Motivation Befragte an der Befragung teilnehmen. Empirische Ergebnisse und Theorien beschreiben Faktoren, welche die Entscheidung zur Teilnahme oder Nichtteilnahme sowie das Antwortverhalten der Teilnehmenden beeinflussen. Bisher unberücksichtigt ist hierbei jedoch die Qualität der Motivation der Befragten zur Teilnahme und inwieweit unterschiedliche Motivationslagen mit dem Antwortverhalten zusammenhängen (z.B. bezüglich Antwortausfall oder Antworttendenzen). Auf Grundlage der Selbstbestimmungstheorie der Motivation (Ryan & Deci, 2000) wurde ein Instrument zur Erfassung der Motivationslagen von Studierenden zur Teilnahme an Befragungen in Evaluationen entwickelt. Ergebnisse explorativer und konfirmatorischer Faktorenananalysen deuten auf eine fünffaktorielle Struktur hin. Ferner zeigt sich eine starke Messinvarianz bezüglich Geschlecht, Abschlussziel und Fakultät. Korrelationen mit Drittvariablen weisen auf die konvergente Validität der fünf Subskalen hin. Ergebnisse latenter Profilanalysen zeigen vier Profile von Teilnahmemotivation, welche sich inhaltlich plausibel im Antwortverhalten der jeweiligen Befragungsteilnehmenden unterschieden. Diskutiert werden (a) theoretische Implikationen zur Modellierung von Teilnahmeverhalten in Befragungen, (b) praktische Implikationen für die Interpretation und Verwertung von Befragungsergebnissen in Evaluationsprojekten sowie (c) Übertragungsmöglichkeiten auf andere Evaluationskontexte.

As part of recording the progress toward promoting peaceful societies as envisioned in the Sustainable Development Goal (SDG) 16, it is important to provide accurate estimates of violence-related deaths (SDG 16.1). These estimations face a number of methodological challenges, resulting in rather conservative estimates in the social sciences. In this article, we discuss SDG indicator 16.1.2 on conflict-related deaths, proposing its enlargement to cover different forms of collective violence. Various types of collective violence, their definition, measurement, and methods to combine them without double counting are reviewed. Comparing the Georeferenced Events Dataset (GED) to the Global Terrorism Database (GTD) shows that events of armed conflict and terrorism overlap to a certain degree. Our argument is that merging data from different event databases can provide a more accurate account of collective violence. We augment the GED data on organized armed conflict with data on terrorism—as a result, our estimates of the numbers of collective violence-related deaths are indeed significantly higher than suggested by GED (one of the most widely used databases in the social sciences).

Note: The method apllied for merging data sets can also be used for other topics.

Meta-Evaluierungen werden als Evaluierungen von einer oder mehrerer Evaluierungen bezeichnet, um die Qualität von diesen zu untersuchen. Im Rahmen der Session „Meta-Evaluierung. Meta-Meta-Evaluierung. Und was dann?“ werden Beiträge zu verschiedenen Perspektiven auf Meta-Evaluierungen vorgestellt und diskutiert. Sie zeigen, zu welchen unterschiedlichen Zwecken das Instrument der Meta-Evaluierung durchgeführt wird, beispielswiese aus der Sicht der Praxis und der Forschung.

Die Session beginnt mit einer kurzen Einführung von Dr. Kerstin Guffler (DEval) und Prof. Dr. Reinhard Stockmann (CEval) zur Bedeutung von Meta-Evaluierung für die Evaluierungspraxis. Anschließend werden vier Beiträge präsentiert. 1. Prof. Dr. Thomas Widmer: Die Wahrheit, Schönheit und Gerechtigkeit der Meta-Evaluation, 2. Dr. Vera Hundt: Meta-Evaluierungen in der Praxis: Erfahrungen aus der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH, 3. Dr. Stefan Silvestrini: Meta2 – Erkenntnisse aus 10 Meta-Evaluationen und 4. Laura Kunert, Dr. Kerstin Guffler und Marian Wittenberg: Meta-Evaluierungen als Instrument organisationsübergreifende Erkenntnisse zu generieren. Darauffolgend sollen die Potentiale und Einsatzmöglichkeiten von Meta-Evaluierungen gemeinsam diskutiert, innovative Ansätze identifiziert und die Zukunftsperspektiven des Instruments herausgearbeitet werden.

Datenaggregation von der Projekt- auf die Programmebene – Herausforderungen und Lösungsansätze im Monitoring und bei Evaluationen

Viele Programme setzen sich aus Projekten zusammen, die sich in Zielen und Herangehensweisen stark unterscheiden. Oft kommen sowohl Monitoringsysteme als auch Evaluationen zum Einsatz. Evaluationen können in größeren Zeitabständen einen detaillierten Zwischenstand zum Programmverlauf und den erzielten Wirkungen liefern, Monitoring-Systeme dienen dazu, die Entwicklung eines Programms kontinuierlich zu beobachten und zeitnah Steuerungsbedarfe zu erkennen.

Zwei Impulsvorträge leiten die Session ein. Anschließend erarbeiten wir gemeinsam Ideen und Lösungsansätze, wie valide und reliable Daten auf Projekt- und Programmebene erhoben werden können, um belastbare Ergebnisse zu erzielen. aber auch, wie es möglich ist, den mit der Erwünschtheit ‘guter’ Resultate möglicherweise verbundenen negativen Folgen, Fehlanreizen und Fehlsteuerungen zu begegnen.

1. Evaluation eines komplexen Programms mit unterschiedlich gelagerten Teilprojekten - Evaluation des Nationalen Massnahmenplans zur Verringerung der Lärmbelastung

Reinhard Zweidler; EBP, Zürich

Der schweizerische Massnahmenplan Lärm umfasst 52 Teilprojekte unter den Oberzielen: Lärmemissionen an der Quelle zu reduzieren; Ruhe und Erholung durch Siedlungsentwicklung zu fördern und Wissensbildung, Grundlagen und Information zu schaffen. Die Vielfalt unterschiedlicher Lärmquellen, Wirkungsweisen und Massnahmentypen und damit verbunden die sehr unterschiedliche Datenlage ist eine Herausforderung. Ein besonderes Augenmerk wird auf die Abwägung von Befunden und praktischer und politischer Machbarkeit gelegt.

2. Die Entwicklung eines Monitoringsystems für ein komplexes Programm

Jonas Rasch, Zukunft – Umwelt – Gesellschaft (ZUG) gGmbH, Berlin

Das BMUV-Förderprogramms gegen Meeresmüll, soll einen Beitrag dazu leisten soll, den Eintrag von Plastikmüll in die Meere zu reduzieren. Es wird ein kurzer Einblick in die Entwicklung eines Indikatoren-Sets gegeben, das sowohl den Anforderungen der Rechenschaftslegung und Programmsteuerung, als auch den möglichen negativen Konsequenzen Rechnung trägt. Im Fokus stehen dabei die Risiken des Einsatzes von Programmindikatoren wenn Monitoring von den Projektverantwortlichen selbst durchgeführt wird. Wie kann die langfristige Zielerreichung gesichert und die Fixierung auf Maximierung von Kennzahlen minimiert werden?

Für Kommunen werden von EU, Bund und Ländern eine Vielzahl von Förderprogrammen aufgelegt, die ob ihrer Fülle und Undurchsichtigkeit von vielen Akteur:innen hinterfragt werden. Viele Förderprogramme werden nicht hinreichend genutzt und von den Adressat:innen entweder nicht gekannt oder häufig als zu bürokratisch empfunden werden. Hieraus ergibt sich die Frage einer evidenzbasierten Untersuchung von Förderprogrammen hinsichtlich ihrer Zielerreichung auf Ebene der Adressat:innen, aber auch mit Blick auf die angestrebten Wirkungen.

Die Session vereint drei empirische Beiträge zu verschiedenen Förderprogrammen und deren Zielgruppen und soll drei wesentliche Aspekte adressieren:

1. Es soll methodisch erörtert werden, wie Förderprogramme mit einer heterogenen Zielgruppe wie den deutschen Kommunen sinnvoll evaluiert werden können. Wie kann mit Feldzugangsproblemen und Prozessen der Selbstselektion umgegangen werden.
2. Es sollen theoretisch unterschiedliche Wirkungsmodelle verglichen werden
3. Es soll empirisch über verschiedene Handlungsfelder hinweg nach Erfolgsbedingungen und Stolpersteinen erfolgreicher Förderpolitik gefragt werden

Die drei Beiträge im Einzelnen:

Vortrag 1: Förderung der kommunalen Entwicklungspolitik: Chancen und Herausforderungen bei der Unterstützung deutscher Kommunen

Autoren: Martin Bruder, Klaus Hermanns, Johannes Schmitt (Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval))

Vortrag 2: Verankerung von europäischer Fördermittelkompetenz in deutschen Kommunen: Voraussetzungen und Wirkungen der Institutionalisierung kommunaler Europaarbeit

Autoren: Benjamin Gröbe, Stephan Grohs, Renate Reiter, Dorothee Riese (Deutsche Universität für Verwaltungswissenschaften Speyer/ FernUniversität in Hagen)

Vortrag 3: Benchmarkstudie Förderprogrammlandschaften/-strategien im Ländervergleich

Autor: Christian Raffer (Deutsches Institut für Urbanistik)

Die Nutzung von Evaluierungen und ihren Ergebnissen beginnt häufig mit einer „management response“, in der die adressierte Steuerungsebene angibt, ob sie die Empfehlungen der Evaluierung teilt und welche Schritte unternommen werden sollen, um die Empfehlung umzusetzen. Inwiefern diese Schritte bzw. die Empfehlung umgesetzt werden, kann dann in Follow-Up-Mechanismen überprüft werden. Laut der OECD sind formalisierte Systeme von „management response“ und Follow-Up-Mechanismen in Evaluierungssystemen allerdings relativ selten (siehe „Improving Governance with Policy Evaluation: Lessons From Country Experiences“, OECD, 2020).

In der deutschen Entwicklungszusammenarbeit ist die Nachverfolgung von Evaluierungen und ihren Empfehlungen eingebettet in die Evaluierungsleitlinien des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) und damit ein Baustein des Evaluierungssytems der deutschen EZ. Sie besteht aus: a) einer öffentlichen Stellungnahme des BMZ, b) einer formalisierten, internen Umsetzungsplanung mit konkreten, termingebundenen und überprüfbaren Teilschritten sowie c) einem späteren Umsetzungsmonitoring (siehe „Evaluierung der Entwicklungszusammenarbeit“, BMZ, 2021).

Es ist aber wenig darüber bekannt, wovon es abhängt, ob Empfehlungen geteilt und schließlich umgesetzt werden. Im Rahmen einer Synthese der Pilotphase des Umsetzungsmonitorings der Empfehlungen von DEval-Evaluierungen wurde analysiert, inwieweit die Empfehlungen von den adressierten Organisationen geteilt und umgesetzt wurden. Zudem wurden Faktoren ermittelt, die die Umsetzung beeinflussen. Diese Faktoren bieten Ansatzpunkte, Evaluierungen, Empfehlungen und deren Umsetzung zu verbessern und damit die Nützlichkeit von Evaluierungen zu steigern.

Der Vortrag stellt die gewonnen Erkenntnisse der Synthese von Umsetzungsmonitorings vor, zum einen aus Sicht der Evaluierenden und zum anderen aus Sicht des BMZ als primärem Adressaten von DEval-Evaluierungen, der die Erkenntnisse und Empfehlungen für die Steuerung, aber auch zum Lernen und für die Rechenschaftslegung nutzt. Dabei wird auch auf Chancen und Herausforderungen des Monitorings der Umsetzung von Evaluierungsempfehlungen eingegangen. Anschließend werden die Zuhörenden zur Diskussion darüber eingeladen, welche Erfahrungen sie mit Follow-Up-Prozessen zu Evaluierungen haben und wie aus ihrer Sicht die Umsetzung von Evaluierungsempfehlungen und damit auch ihr Einfluss auf Steuerung nachgehalten werden sollte.

Empfehlungen sind eines der wichtigsten Instrumente von Evaluator*innen, um die Nutzung von Evaluationsergebnissen zu gewährleisten. Sie sind ein kommunikatives Vehikel, um empirische Kernaussagen von Evaluationen in eine praxistaugliche Sprache zu übersetzen. Ihnen kommt folglich eine Schlüsselrolle bei der Überwindung von Zielkonflikten zwischen empiriebasierten Befunden und politischen Handlungszwängen zu, denn sie konspektieren zentrale Erkenntnisse und zeigen konkrete Handlungsoptionen auf.

Damit Evaluationsempfehlungen zu einer effektiven Verbesserung der evaluierten Maßnahmen beitragen (und die Evaluation somit genutzt wird), müssen sie für Entscheidungstragende verständliche und nachvollziehbare Veränderungsimpulse formulieren. Dies bildet die Voraussetzung dafür, dass Empfehlungen im Handeln ihrer Adressat*innen übernommen und in der strategischen Planung und Steuerung als Informationsgrundlage berücksichtigt werden. Die ‘Chain of Utilization’ einer Evaluation – der Weg von der Rezeption von Empfehlungen hin zu erhöhter maßnahmeninduzierter Wirksamkeit (Nutley, S. M. et al., 2008; Knott & Wildavsky, 1980) – ist jedoch sehr kontextspezifisch und in Evaluationen selten expliziert.

Die Autoren des Vortrags stellen einen Ansatz vor, um die Wirkungsorientierung von Empfehlungen durch eine theoretische und empirische Fundierung zu stärken:

(1) Der erste Kernbestandteil des Ansatzes besteht in einer theoretischen Fundierung der Wirkungsannahmen von Empfehlungen und impliziert eine integrierte Betrachtung der durch Empfehlungen angestoßenen Veränderungsprozesse (a) auf der Ebene des Evaluationsprozesses und (b) auf der Ebene des Evaluationsgegenstands. Die folgenden, damit verbundenen Fragestellungen sollten in diesem Zusammenhang beantwortet werden: Wer sind die Nutzenden der Evaluation und welche Erkenntnisinteressen haben Sie? Wie wirken sich die Empfehlungen auf den Evaluierungsgegenstand aus?

(2) Der zweite Kernbestandteil des Ansatzes besteht darin, durch die Nutzung prospektiver Methoden die erwartete Veränderung durch Empfehlungen empirisch zu unterlegen. Im Rahmen ihres Vortrags stellen die Autoren (prospektive) empirische Methoden vor, die in der Lage sind, die Nützlichkeit von Empfehlungen und zukünftige Szenarien über die weitere Entwicklung von Evaluationsgegenständen abzuschätzen (Modellierungen, Trend-Analysen, qualitative Szenario-Techniken, Delphi-Methode, etc.) und diskutieren deren Umsetzbarkeit in Evaluationen.

Unternehmensstrategische Evaluierungen (USE) der GIZ werden in eigener Verantwortung ausgewählt und von der Stabsstelle Evaluierung im Auftrag des Vorstands durchgeführt. Sie haben strategische Themen der Unternehmensentwicklung bzw. der Leistungserbringung der GIZ zum Gegenstand und sind am Nutzen für das Unternehmen ausgerichtet.

Ergebnisse und Empfehlungen von USE sollen u.a. evidenzbasierte Entscheidungen und Steuerung vor allem auf strategischer Ebene ermöglichen und strategische Lern- und Veränderungsprozesse auslösen und befördern. Unternehmensstrategische Evaluierungen sind dabei beteiligungsorientiert, um die vielfältigen Erkenntnisinteressen der Stakeholder zu berücksichtigen und die Nutzung von Evaluierungsprozessen und -ergebnissen zu optimieren. Die GIZ bietet im Rahmen ihrer Evaluierungen Dialogräume und strebt danach, alle relevanten Handelnden einzubeziehen. Somit nimmt die Stabsstelle Evaluierung der GIZ im Evaluierungsprozess auch eine wichtige Moderationsfunktion ein. Dies ist insbesondere dann wichtig, wenn die Ergebnisse und Empfehlungen Unternehmensstrategischer Evaluierung intern vermittelt und anschließend umgesetzt werden müssen. Denn in diesem Prozess kann es durchaus auch zu Dissenz kommen, beispielsweise, wenn

• Ergebnisse und Empfehlungen von Stakeholdern für den eigenen Arbeitsbereich als nicht relevant genug betrachtet werden, oder
• es kann Kritik an der als nicht ausreichend empfundenen Einbeziehung bestimmter Stakeholder geben.

Dabei kommt der Stabsstelle die Aufgabe zu, geeignete Räume und Formate bereitzustellen, um Dissenz adäquat moderieren zu können. Der vorliegende Beitrag soll die (Beteiligungs-)Mechanismen beschreiben, die die GIZ zur Annahme und Nutzung von Ergebnissen und Empfehlungen von Unternehmensstrategischen Evaluierungen nutzt (z.B. Management Response, Umsetzungsvereinbarung). In einem zweiten Schritt soll der Beitrag exemplarisch den Umgang mit Dissenz in diesem Prozess aufgreifen und Lösungsansätze skizzieren.

Im Mittelpunkt der Session steht der feldübergreifende fachliche Austausch über Herausforderungen und Probleme im Einsatz quantitativer Methoden in der Evaluation. Die beiden Vortragenden bieten zum Einstieg in die Thematik zwei Impulsvorträge (jeweils 15-20 Minuten) zu folgenden Themen:

• Warum kleine Stichproben mitunter rausgeworfenes Geld sind und statistische Signifikanz nicht alles ist: die graue Theorie der statistischen Power und sehr praktische Probleme
• Was heißt hier eigentlich repräsentativ??? Das Konzept Repräsentativität, Definitionen, Anforderungen und praktisch unlösbare Problemlagen

Die verbleibenden 50-60 Minuten der Session sind für Nachfragen, Diskussion und Erfahrungsaustausch eingeplant, u. a. zu den folgenden übergreifenden Fragen: Welche (weiteren) Herausforderungen werden von den Teilnehmenden gesehen? Welche Relevanz haben einzelne Problemlagen in bestimmten Politikfeldern? Wie wird in der Praxis damit umgegangen und was können (pragmatische, angemessene) Lösungsansätze sein?

Auftraggeber*innen von Evaluationen haben i. d. R. den Wunsch zur Entscheidungsfindung Daten zu nutzen, die auf Methoden beruhen, die extern und intern „unangreifbar“ sind. Oft wird selbstverständlich angenommen, dass quantitative Befragungen automatisch immer die bessere Wahl seien. Qualitative Ansätze werden mitunter abgelehnt, da die Ergebnisse „willkürlich“, „nicht belastbar“ bzw. „nicht repräsentativ“ seien. Tatsächlich kann dies auch quantitativen Ansätzen vorgeworfen werden, z. B. wenn das Erhebungsinstrument nicht valide konstruiert wurde, die Stichprobe zu klein oder gar falsch gezogen wird oder das Fehlen (aber auch Vorliegen) statistischer Signifikanz überinterpretiert wird. Die Vortragenden verstehen sich selbst eher als Expert*innen für quantitative Methoden als für qualitative Methoden der empirischen Sozialforschung. Sie sehen sich in der Praxis (vielleicht gerade deshalb) immer wieder mit Problemlagen konfrontiert, die Zweifel an der Wertigkeit quantitativer Methoden und der Validität quantitativ erhobenen Daten aufbringen. Die Session zielt auf eine Sensibilisierung für solche Problemlagen, die gemeinsame fachliche Diskussion dieser Herausforderungen und den Erfahrungsaustausch, wie damit in der Evaluationspraxis (angemessen) umgegangen werden kann – insbesondere auch im sinnvollen Zusammenspiel quantitativer und qualitativer Ansätze.

Im Rahmen der diesjährigen Vorstandssession möchten wir uns gemeinsam mit Teilnehmenden an der Jahrestagung darüber austauschen, wie Neu- und Quereinsteiger*innen in der Evaluation (kurz: Newbies) zukünftig durch die DeGEval unterstützt und gefördert werden können. Die Weiterführung des Nachwuchsnetzwerks erscheint nach dem Rücktritt des gesamten Sprecher*innen-Teams nicht sinnvoll und auch der Nachwuchspreis ist in der aktuellen Umsetzung nur bedingt erfolgsversprechend.

Deshalb möchten wir in zwei Arbeitsgruppen gemeinsam daran arbeiten, wie wir zukünftig Newbies fördern und Talente in der Evaluation sichtbar machen können. In der Arbeitsgruppe zur Newbie-Arbeit wird es darum gehen, die Ziele der Newbie-Arbeit zu reflektieren und gemeinsam an Maßnahmen zu arbeiten, die gewinnbringend umgesetzt werden können. Hinsichtlich des Nachwuchspreises werden alternative Zugänge zur Nominierung bzw. den Kriterien für die Auszeichnung von Talenten zur Diskussion gestellt und es soll ein konkretes Prozedere diskutiert werden.

Die Ideen aus der Session werden vom Vorstand in der weiteren Arbeit berücksichtigt und unterstützen uns dabei, die Newbie-Arbeit nachhaltig erfolgreich zu gestalten.

Zu der Session sind sowohl erfahrene Evaluator*innen als auch explizit Neu- und Quereinsteiger*innen in der Evaluation eingeladen, um möglichst verschiedene Perspektiven in die Diskussion einzubringen und die Bedarfe und Ziele der Newbies kennenzulernen und berücksichtigen zu können.

Daten spielen in Evaluationsverfahren eine entscheidende Rolle: Gemäß der Standards für Evaluation sollen Bewertungen und Schlussfolgerungen begründet (G8) und auf Basis von validen Informationen (G5) erfolgen. Die starke anwendungs- und am Evaluationsgegenstand ausgerichteten Evaluationsverfahren bedürfen besonderer Standards und Methoden, die sich an den Gütekriterien empirischer Forschung orientieren sollen (G5).

An der Hochschule Niederrhein, wie auch an anderen Hochschulen, gilt: Entscheidend für das Gelingen einer Evaluation ist ein durchdachtes und an methodischen Standards orientiertes Evaluationsverfahren. Es geht um die Beschreibung des Evaluationsgegenstandes (G1) und die Kontextanalyse (G2), nicht um einen Faktencheck oder eine Hypothesenprüfung. Die Evaluationsinstrumente werden hierauf ausgerichtet, auch wenn sie – wie im Call beschrieben – ggf. die Gütekriterien anderer Fachdisziplinen nicht vollends erfüllen.

Die Hochschule Niederrhein hat im Jahr 2021 mit dem Aufbau eines QM-Systems für Studium und Lehre begonnen. Ziel ist die Erlangung der Systemakkreditierung bis 2025. Den im Call genannten Friktionen und Spannungen begegnen wir durch die partizipative Entwicklung von Mindeststandards. Diese beziehen sich sowohl auf den Umgang mit Daten als auch auf die Auswahl der heranzuziehenden Indikatoren.

Der Innovationsgehalt in unserem QM-System besteht darin, dass bestimmte Kennzahlen nicht automatisch zu Entscheidungen führen: Evidenzbasierte Entscheidungen werden im Diskurs getroffen. Dazu werden nicht nur quantitative Daten, sondern auch qualitative Informationen herangezogen.

Am Beispiel der Internen Akkreditierung von Studiengängen möchten wir zeigen, wie die Hochschule Niederrhein der Problematik von datenbasierten Entscheidungsfindungen begegnet, um die Akzeptanz so (rational) getroffener Entscheidungen zu erhöhen: (1) Nicht Daten selbst werden diskutiert, sondern ein datenbasierter Qualitätsdialog über den Studiengang geführt; (2) Für den Umgang mit uninterpretiert bereitgestellten Daten gibt es bei Bedarf Hilfestellungen; (3) Für den Fall, dass die vorgesehenen Daten kritisiert werden und begründet unpassend für die Entscheidungsfindung sind, können Absprachen zu alternativen Informationsquellen getroffen werden.

Die diskursive Herangehensweise lässt sich auf andere Bereiche mit Schnittstellen zur Evaluationspraxis übertragen und leistet somit einen Beitrag zur Dialogfähigkeit über Daten aus unterschiedlichen Handlungslogiken.

Im Bereich der Hochschulevaluation steht am Anfang das Konzipieren und Implementieren einer systematischen Evaluationspraxis. In der Folge ist es entscheidend, dass sich Evaluationsergebnisse dem Evaluationsgegenstand als nützlich erweisen (Pohlenz et al., 2017) und dem System der Handelnden somit ermöglichen, gewinnbringende, funktionsfähige sowie nachhaltige Lösungen zu erarbeiten (Gebert, 2004). In der Erarbeitung dieser Lösungen ist eine Organisation auf ein koordiniertes Zusammenspiel der einzelnen AkteurInnen eines Systems angewiesen (Frei et al., 1996). Dabei stellt die Entwicklung einer organisationsweiten Lernkultur ein langwieriger, dynamischer sowie komplexer Prozess dar, der sich nicht immer linear gestaltet (Preskill, 1994). Zudem stellen nutzbringende Hinweise aus Evaluationen, vor allem wenn diese sich unerwarteterweise oder in unerwartetem Masse ergeben, eine Zusatzaufgabe für das handelnde System dar.

In diesem Beitrag wird die systematisierte Evaluationspraxis einer Pädagogischen Hochschule beispielhaft vorgestellt. Im Zentrum der getätigten Evaluationen steht der Entwicklungsaspekt. Es wird folgenden Fragestellungen nachgegangen:

• Inhaltsaspekt: Wo stehen wir? Inwiefern kann das Angebot sowie die eigene Hochschullehre weiterentwickelt werden?
• Handlungsaspekt: Wie kann die Nutzungspraxis orchestriert werden, so dass das System der Handelnden nicht überlastet wird?

Inhalte der Evaluationen wurden mit den zuständigen Mitgliedern der Hochschulleitung entwickelt und anhand von Online-Befragungen umgesetzt. Aus den getätigten Evaluationen (bspw. Modulbefragungen, Bachelorbefragungen) resultieren nutzbare Ergebnisse (u.a. Mittelwertunterschiede über verschiedene Kohorten, Regressionsanalysen). Massnahmen bieten sich auf der Ebene der Einzeldurchführungen, der Gesamtmodule, hinsichtlich der Fachbereiche sowie betreffend der Abteilung Ausbildung wie auch auf institutioneller Ebene an. In diesem Beitrag werden ausgesuchte Ergebnisse mit Blick auf deren mögliche Nutzung vorgestellt.

In der Diskussion mit den Kongressteilnehmenden wird gefragt: Valide Daten – rationale Entscheidungen – Überlastung des Systems? Da mit einer etwaigen Überlastung des Systems eine Nicht-Nutzung oder aber Widerstände in der Nutzung einhergehen können, werden Möglichkeiten einer institutionsweit orchestrierten Nutzungspraxis vertiefend diskutiert (siehe Fragestellung Handlungsaspekt). Denn schliesslich lohnen sich Evaluationen nur dann, wenn sie genutzt werden (Balzer & Beywl, 2018).

Die Rolle von Evaluierenden kann das Bereitstellen von Ergebnissen, das Vornehmen von Bewertungen, die Mitgestaltung von Entwicklungen sowie die Unterstützung der Zielfindung umfassen (Wottawa, 1991; Balzer & Beywl, 2018). Dabei ist sich auch die Fachgemeinschaft uneins, welche Aufgaben, v.a. auch bezogen auf das Generieren von Empfehlungen, in die Verantwortlichkeit von Evaluierenden fallen (Kromrey, 2001; Scriven, 2007). Sind Empfehlungen beauftragt, werden sie basierend auf transparent gestalteten Bewertungsprozessen sowie systematisch und nachvollziehbar vorgenommenen Bewertungen (Balzer & Beywl, 2018) entwickelt. In der Ausgestaltung von Empfehlungen gilt es die Kohärenz zu Erkenntnissen zu wahren und somit eine gewinnbringende Nutzungspraxis zu unterstützen.

Anhand eines Evaluationsprojekts im Schulbereich wird beispielhaft aufgezeigt, wie Empfehlungen ausfallen können. Im Projekt wurden über zwei Befragungszeitpunkte die Umsetzung eines neuen Lehrplans anhand einer formativen Evaluation begleitet. Es wurden folgende Fragestellungen untersucht:

• Inhaltsaspekt: Inwiefern hat konstante Erarbeitung des neuen Lehrplans die Unterrichtspraxis verändert?
• Handlungsaspekt: Welche Empfehlungen ergeben sich datenbasiert für die verschiedenen Akteursebenen?

Inhalte der beiden Online-Befragungen wurden von Auftraggebenden thematisch vorgegeben und von Evaluierenden aus dem neuen Lehrplan herausgearbeitet. 52.5% (N = 757) der angeschriebenen Lehrpersonen nahmen zu beiden Befragungszeitpunkten teil (regionale Vollerhebung). Auf der Basis des Lehrplans konnte ein Wirkmodell entwickelt und datenbasiert bestätigt werden. Im Projekt konnte Entwicklung stattfinden und auf vielseitige Weise dokumentiert werden (Mittelwertunterschiede über zwei Messzeitpunkte). Es zeigen sich differenzierende Effekte hinsichtlich der erfolgten Entwicklungen in verschiedenen Themenbereichen (Effektstärken). Praxisrelevante Bedingungsfaktoren konnten identifiziert werden (hierarchische Regressionsanalysen). Diese identifizierten Bedingungsfaktoren sowie die nachgewiesenen Mittelwertunterschiede bildeten neben deskriptiven Ergebnissen sowie offenen Angaben die Basis für generierte, weiterführende Empfehlungen.

Im diesem Beitrag werden Ergebnisse, Erkenntnisse sowie beispielhaft abgeleitete Empfehlungen präsentiert, welche sowohl exemplarisch wie auch auf übergreifender Ebene hinsichtlich der Rolle und Aufgabe von Evaluierenden zur Diskussion gestellt werden.

Projekte zur Entwicklung digitaler Technologien, die auf eine Förderung der Mobilität und sozialen Teilhabe im Alter zielen, stellen ein neues Arbeitsfeld für Evaluator*innen dar. Letzteren fällt u.a. die Aufgabe zu, einen iterativen „Aushandlungsprozess zwischen Technikentwicklern, Nutzenden und weiteren Stakeholdern“ (Kunze 2021, 137) zu begleiten. Projekte zur teilhabefördernden Technologieentwicklung sind mit hohen Erwartungen in Bezug auf die Lösung gesellschaftlicher Herausforderungen im Kontext des demographischen Wandels verknüpft. Auch werden damit „innovationspolitische wie auch marktwirtschaftliche Interessen“ (Endter 2020, 124) verfolgt. Hieraus kann ein Erfolgsdruck resultieren, der auf die Projektbeteiligten einwirkt.

Das Spannungsfeld zwischen Erfolgsdruck und der Einhaltung wissenschaftlicher Standards wird am Beispiel der Evaluation des Projektes „DigiRoll“ reflektiert. Im Projekt wurde eine Elektronikbox, die am herkömmlichen Rollator befestigt wird und unterschiedliche Assistenzsysteme enthält (u.a. Sturzerkennung, manueller Hilferuf, Gehwegbeleuchtung und Hinderniswarnung), entwickelt und in Bezug auf ihre Wirkungen evaluiert. Das Projekt bestand aus einer formativen Pilotphase, in der die Alltagstauglichkeit der Elektronikbox unter Beteiligung der Zielgruppe überprüft wurde. In der anschließenden Feldphase wurden die Wirkungen der Elektronikbox im RCT-Design evaluiert und dabei die Outcome-Indikatoren „Sturzhäufigkeit“, „Sturzangst“, „Mobilität“, „soziale Teilhabe“ und „Lebensqualität“ anhand standardisierter Erhebungsinstrumente erhoben. Dabei stellte sich die dem Projektdesign zugrunde liegende Überschätzung der potenziellen Wirkungen der zu entwickelnden Technik als eine Schwierigkeit dar. Zugleich war sowohl die Komplexität der Bedarfe der Nutzer*innen als auch der Zeitaufwand einer angemessenen Beteiligung der Zielgruppe unterschätzt worden. Im Vortrag wird erläutert, wie das Evaluationsdesign angesichts der dargestellten Zielkonflikte angepasst wurde. Die entsprechenden Lösungen werden in Hinblick auf die Einhaltung der DeGEval-Standards diskutiert.

Literatur

Endter C (2020): Assistiert Altern. Die Entwicklung digitaler Technologien für und mit älteren Menschen. Springer, Wiesbaden

Kunze C (2021): Nutzerorientierte und partizipative Ansätze in Gestaltungs- und Aneignungsprozessen von teilhabefördernder Technik. In: Schäfers M, Welti F (Hrsg.): Barrierefreiheit - Zugänglichkeit - Universelles Design. Julius Klinkhardt, Bad Heilbrunn, S. 133–14

Eine fachlich angemessene Pflegepersonalmenge langfristig in der stationären Langzeitpflege sicherzustellen, gehört zu den drängendsten gesellschaftspolitischen Herausforderungen unserer Zeit. Voraussetzung dafür ist ein einheitliches Verständnis und eine standardisierte Vorgehensweise in der Berechnung des notwendigen Pflegepersonals. Der Auftrag, eine wissenschaftlich fundierte Bemessung des Personalbedarfs zu entwickeln, in dem nicht nur die Anzahl der zu versorgenden pflegebedürftigen Menschen in der Langzeitpflege zugrundgelegt wird, sondern auch das Ausmaß ihrer beurteilten Pflegebedürftigkeit wurde vom Gesetzgeber im Zweiten Pflegestärkungsgesetz nach § 113c SGB XI an die Universität Bremen vergeben. Wissenschaftlich gesehen ist die Fragestellung geklärt und eine fundierte Basis für Entscheidungen in Pflegeeinrichtungen gegeben. Mit diesen quantitativen und qualitativen Maßstäben der Bemessung wird jedoch eine Personal- und Organisationsentwicklung intendiert, die sowohl zeitliche Ressourcen als auch Kompetenzen erfordert. Für die Umsetzung braucht es deshalb nicht nur das Interesse am Thema, sondern insbesondere die Akzeptanz der Ergebnisse seitens der Akteurinnen und Akteure in der Praxis. Hierfür ist Können in der Entwicklung von Teams und Organisationen gefragt, um etwaige Blockaden zu lösen, Fehler zu vermeiden und die Aussichten, die mit dem neuen Personalbemessungssystem tatsächlich verbunden sind, erfolgreich zu nutzen.

Der Einzelvortrag gibt zunächst einen Überblick in das entwickelte Konzept der Personalbemessung. Zudem wird auf die methodische Vorgehensweise der wissenschaftlichen Evaluation von Personalbedarf eingegangen und die Chancen und Grenzen von Personalbemessung in personenbezogenen Dienstleistungen aufgezeigt. In weiterer Folge werden die Herausforderungen für die praktische Anwendung beleuchtet sowie Lösungsansätze, um das Interesse bzw. die Akzeptanz von Betroffenen und potenziellen Nutzerinnen und Nutzern zu sichern. Abschließend gehen die Autorinnen auf Learnings und Übertragungsmöglichkeiten auf andere gesellschaftliche Bereiche ein und eröffnen somit den Raum für Reflexion und Dialog mit den Teilnehmenden am Vortrag.

• Transfer von wissenschaftlichen Ergebnissen in die Praxis
• Generierung von Akzeptanz seitens der Betroffenen und Beteiligten
• Implementierung in die Praxis
• Reflexion von Praxisanwendungen und Implikationen

Mit dem Tagungsbeitrag werden wir die methodischen Herausforderungen an eine interdisziplinäre Vorabevaluation einer zukünftigen gesetzgeberischen Verordnung diskutieren und reflektieren. Zudem werden wir grundsätzliche Learnings für prospektive Evaluationen aus einem Projektbeispiel ableiten.

Die Ex-Ante-Untersuchung politischer Interventionen und Regulationen ist vor dem Hintergrund der Unsicherheiten und Unwägbarkeiten in von Komplexität geprägten Systemen gleichermaßen anspruchsvoll wie relevant. Ziel ist es dabei, durch eine möglichst realitätsgetreue Abbildung des zukünftigen Zustands Wirkungen, Risiken und Folgen der geplanten Veränderung zu identifizieren. Methodisch geht eine Vorabevaluation mit einigen besonderen Herausforderungen einher. So kann zum Beispiel durch eine kontrollierte Untersuchungsumgebung zwar hohe interne Validität erreicht werden, die abzubildende Komplexität der praktischen Realität sowie die mögliche Reaktivität der Studienteilnehmenden jedoch externe Validität einschränken (Wolbring/Keuschnigg 2015).

Diese und weitere methodische Herausforderungen (u.a. bzgl. der Erhebungsinstrumente, der Kontextfaktoren und der interdisziplinären Herangehensweise) werden wir anhand eines Projektbeispiels einer Vorabevaluation im Auftrag des Bundesministeriums für Arbeit und Soziales illustrieren: der im Rahmen des Bundesteilhabegesetztes neu entworfenen, den Leistungszugang in der Eingliederungshilfe konkretisierende Verordnung (VOLE). Die Untersuchung soll Aussagen darüber generieren, ob und welche Veränderungen des leistungsberechtigten Personenkreises durch die Einführung der VOLE zu erwarten sind. In der Vorabevaluation wurden nach einer Exploration zunächst juristische und medizinische Analysen der Rechtstexte vorgenommen. Diese Analysen wurden anschließend mit einer sozialwissenschaftlichen Untersuchung verschränkt. Dazu wurden in Fallstudien Praktiker:innen Fallvignetten vorgelegt, die typische Fallkonstellationen aus ihrer Berufspraxis simulieren. Diese Vignetten wurden sowohl anhand der bisher gültigen Eingliederungshilfe-Verordnung als auch anhand der VOLE bearbeitet.

Literatur: Wolbring, T. & Keuschnigg, M. (2015). Feldexperimente in den Sozialwissenschaften. In T. Wolbring und M. Keuschnigg (Hrsg.), Experimente in den Sozialwissenschaften (S. 222-250). Baden-Baden: Nomos.

Vom Kaninchenzüchterverein bis zum Großunternehmen, vom Start-Up bis zum Bundesministerium – sowohl in der Freizeit wie im Arbeitskontext findet Leben in komplexen Gesellschaften überwiegend in Organisationen statt. Die Funktionalität öffentlicher wie privater Organisationen in ihrer Leistungserbringung ist entsprechend für die Gesellschaft insgesamt wie für jede Einzelperson von höchster Relevanz. Umso erstaunlicher, dass die systematische Evaluation von Organisationen und die Ableitung von Steuerungsimpulsen aus solchen Evaluationen sich auf wenige Politikfelder – insbesondere die Wissenschaftspolitik – fokussiert.

In dieser Session werden aus politikfeldübergreifender Perspektive die Besonderheiten und Herausforderungen bei der Evaluation von Organisationen diskutiert, aber auch Lösungsansätze und bewährte Vorgehensweisen vorgestellt. Leitfragen der Session sind:

1. Was sind Besonderheiten von Organisationen als Evaluationsgegenstand?
2. Welche Funktionen können Evaluationen von Organisationen haben?
3. Welche Anforderungen an eine gegenstandsangemessene Methodenwahl ergeben sich daraus?
4. Wie muss der Evaluationsprozess - insbesondere bezüglich der Stakeholder-Einbindung – ausgestaltet sein, um eine größtmögliche Nutzung der Evaluation zu gewährleisten?

Vortrag 1:

Dr. Karin Hummel, DLR Projektträger (DLR-PT):

Erfahrungen und Herausforderungen der Evaluation von fünf Ressortforschungseinrichtungen in Bayern

Vortrag 2:

Dr. Kai Buchholz, Wissenschaftliche Kommission Niedersachsen

Herausforderungen und Besonderheiten in der Analyse von elf außeruniversitären Forschungseinrichtungen in Landesfinanzierung

Vortrag 3:

Klaudia Haase, Geschäftsstelle des Wissenschaftsrats, Köln

Ausgangspunkt und Prozess der Überarbeitung der Evaluationskriterien für Ressortforschungseinrichtungen des Bundes

Vortrag 4:

Dr. Martin Bruder, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Herausforderungen und Umgang mit der hohen Komplexität der Evaluierung von Organisationen

Ein zentrales Ziel von Evaluation ist, dass Empfehlungen, oftmals mit Blick auf die Optimierungs- und Entwicklungsfunktion von Evaluation, zur Vorbereitung politischer Entscheidungen oder allgemein zu Steuerungsmaßnahmen gegeben werden. Dabei bedient sich Evaluation zur Generierung der Erkenntnisse an einem breiten Repertoire an (sozial-)wissenschaftlich fundierten Forschungsdesigns, Datenerhebungs- und Auswertungsmethoden, auf Basis derer, im Sinne des DeGEval-Genauigkeitsstandards G8, die Schluss­folgerungen und letztendlich die Empfehlungen der Evaluation ausschließlich auf Grundlage der erhobenen und analysierten Daten nachvollziehbar und logisch abgeleitet werden sollen. Nicht selten jedoch zeigen sich speziell in Zusammenhang mit den Empfehlungen Akzeptanzprobleme. Denn auch wenn die jeweiligen Interessens­gruppen die empirischen Ergebnisse akzeptieren, so können sie die daraus abgeleiteten Empfehlungen nicht immer mittragen. Dies liegt beispielsweise daran, dass politische Entscheidungen nicht nur auf empirisch gewonnenen Erkenntnissen beruhen, Kontexte aus dem Fokus der jeweiligen Interessensgruppen unterschiedlich gewichtet werden oder grundsätzlich mehrere Interpretationsmöglichkeiten der Ergebnisse bestehen, unter anderem auch weil diese aufgrund einschränkender Rahmenbedingungen in Evaluationen praktisch kaum durch aufwändigere methodische Verfahren weiter abgesichert werden können.

Im Vortrag wollen wir auf der Basis unserer Evaluationen im Hochschulbereich Herausforderungen sowohl bei der Ableitung als auch bei der Kommunikation der Empfehlungen präsentieren. Als einen möglichen Weg die Akzeptanz der Empfehlungen bei den jeweiligen Interessensgruppen zu erhöhen, wollen wir die Vorteile sowie unsere Erfahrungen mit Akteur:innen-zentrierten Ansätzen, wie der „participatory evaluation“ und der „utilization-focused evaluation (Patton)” aufzeigen. Im Rahmen dieser Evaluationsmodelle können die Empfehlungen in einem Diskussionsprozess gemeinsam mit den Interessensgruppen erarbeitet werden, wodurch die Wahrscheinlichkeit der Umsetzung der Empfehlungen erhöht wird. Im Anschluss an den Vortrag wollen wir mit den Teilnehmer:innen die Chancen aber auch die Risiken dieser Modelle bzw. dieses Vorgehens bei der Lösung des Akzeptanzproblems diskutieren. In einer offenen Diskussion sollen dabei weitere oder auch konträre Evaluationsmodelle sowie die Erfahrungen der Teilnehmer:innen bei der Entwicklung und Formulierung von Empfehlungen aufgezeigt werden.

Die Frage, ob und in welcher Form Evaluations- und Forschungsergebnisse als Evidenz in (politischen) Entscheidungsprozessen bzw. der Implementation von Maßnahmen herangezogen werden, beschäftigt Wissenschaftler und Praktiker in verschiedenen Handlungsfeldern bereits seit Jahrzehnten. Empirische und konzeptuelle Beiträge, welche diese Übersetzungsprozesse rekonstruierbar, verstehbar und letztlich auch gestaltbar machen, sind u.a. im Rahmen der Forschung zu „evaluation use“, aber auch „data use“, „evidence-informed practices“ und „evidence-informed policies“ entstanden. Entsprechende Studien zeichnen ein vielfältiges und komplexes Bild der Bedingungsfaktoren, die zur stärkeren Wahrnehmung und Nutzung von Evaluations- und Forschungsergebnissen sowie Datenbeständen führen und verweisen auf sektorspezifische Besonderheiten im Umgang mit Evidenz. Ein zentrales Desiderat bleibt bislang die empirisch fundierte Untersuchung des Zusammenwirkens dieser Bedingungsfaktoren unter Berücksichtigung der Charakteristika von Evidenz und Evidenznutzern sowie der organisationalen und systemischen Spezifika des Entscheidungskontextes.

Anschließend an Überblicksstudien aus verschiedenen Anwendungsfeldern (exemplarisch Johnson et al. 2009, Oliver et al. 2014, Isett and Hicks 2020, Rickinson et al. 2022) analysieren wir auf der Grundlage eines Scoping Reviews exemplarisch für den Hochschul- und Forschungssektor, welche Faktoren Einfluss auf die Wahrnehmung und Nutzung von Evidenz nehmen. In unserem Beitrag untersuchen wir

(1) welche förderlichen und hinderlichen Faktoren in den Studien betrachtet werden und wie gut diese empirisch abgesichert sind,

(2) welche Wirkungszusammenhänge ggf. zwischen den Faktoren hergestellt werden,

(3) und inwiefern sich diese Faktoren zwischen der institutioneninternen Evidenznutzung an Hochschulen und Forschungseinrichtungen einerseits und der politikbezogenen Evidenznutzung andererseits unterscheiden.

Die Datengrundlage des Scoping Review bilden rund 100 nationale und internationale empirische Studien aus dem Zeitraum 2010 bis 2022, die im Rahmen systematischer Abfragen der Literaturdatenbanken Scopus und ERIC sowie der Sichtung einschlägiger deutschsprachiger Zeitschriften in einem Screening von mehr als 3000 Beiträgen identifiziert wurden. Die Volltexte der Studien werden derzeit auf der Grundlage eines theoretisch fundierten Kategoriensystems in MAXQDA codiert, die Daten extrahiert und anschließend in Form von Evidence (Gap) Maps ausgewertet.

Am Thünen-Institut für Ländliche Räume werden seit Ende der 1990er Jahre Evaluierungen von EU-geförderten ländlichen Entwicklungsprogrammen durchgeführt. In diesem Beitrag soll aus einem umfangreichen Evaluierungsprojekt berichtet werden, in dem für fünf Bundesländer über einen Zeitraum von neun Jahren Förderprogramme umfassend und begleitend evaluiert wurden. Der Schwerpunkt liegt dabei auf dem Arbeitsbereich „Ländliche Entwicklung“, dessen Zuständigkeitsbereich vorrangig die Evaluierung der Förderansätze LEADER und der Dorfentwicklungsprogramme in vier der fünf Bundesländer umfasst. Eine Besonderheit im Arbeitsbereich „Ländliche Entwicklung“ ist die große inhaltliche Vielfalt der umgesetzten Projekte, die zum Teil sehr unterschiedliche und schwer messbare Zielsetzungen verfolgen. Dennoch ermöglicht die ähnliche Konzeption der Maßnahmenevaluierung in den vier Bundesländern einen Vergleich der Ausgestaltung der Förderung und der daraus resultierenden Wirkungen unter Berücksichtigung der länderspezifischen Rahmenbedingungen.

Ob und inwieweit Evaluationsergebnisse allerdings zu Veränderungen im Fördersystem führen, hängt nicht nur von ihrer Validität ab. Anhand von Beispielen wird gezeigt, dass gut abgesicherte Ergebnisse und Handlungsempfehlungen auch dann in Frage gestellt werden, wenn sie von den Auftraggebern als „unbequem“ empfunden werden. Dies zeigt sich sowohl bei der Interpretation von Ergebnissen und Wirkungen von Maßnahmen als auch bei konkreten Ergebnissen zur administrativen Umsetzung. Ein Beispiel ist die Stichtagsregelung in einem Bundesland. Obwohl die dadurch erschwerte Projektumsetzung sowohl theoretisch als auch anhand von empirischen Ergebnissen eindeutig belegt ist und bessere Umsetzungsbeispiele aus einem anderen Bundesland vorliegen, wird deren Änderung vom zuständigen Ministerium abgelehnt. Diese Ablehnung geht dann mit Kritik u. a. an der Interpretation der Erhebungsergebnisse einher – obwohl der wesentliche Ablehnungsgrund ein vermeintlich erhöhter Verwaltungsaufwand ist. Wie wir mit diesen Konflikten umgehen, zu welchen Veränderungen sie in unserer Arbeit geführt haben und welche Lösungsstrategien im Laufe des langjährigen Evaluationsprojektes entwickelt wurden, zeigen wir in diesem Vortrag.