Veranstaltungsprogramm

Hintergrund: Der INQA-Unternehmenscheck „Guter Mittelstand“ wurde im Rahmen der Initiative Neue Qualität der Arbeit (INQA) in Zusammenarbeit mit der Offensive Mittelstand (OM) entwickelt (Cernavin 2015). Als niedrigschwelliges, freizugängliches Selbstanalysetool richtet es sich primär an kleine und mittlere Unternehmen (KMU) und ermöglicht diesen die selbstgeleitete Bewertung des Unternehmens in zentralen arbeitswissenschaftlichen und betriebswirtschaftlichen Themenfeldern. Zudem hat sich in den vergangenen Jahren auch die Checkbearbeitung mit Begleitung durch eine/n Berater*in etabliert. Der Check deckt elf essenzielle Handlungsfelder ab, u.a. Personal, Führung, Strategie oder Markt und Kunde.

Forschungslücke: Der INQA-Unternehmenscheck ist ohne Registrierung von den Unternehmen als online-, App- oder Print-Version zugänglich. Allerdings mangelt es bislang an Daten, um die Wirkungen des Checks in den Betrieben sach- und fachgerecht beurteilen zu können.

Forschungsprojekt: Das Projekt „Evaluation der betrieblichen Anwendung des INQA-Unternehmens-checks ‚Guter Mittelstand‘“ befasst sich erstmals mit Fragen zu den Wirkungen des Checks. Um ein umfassendes Verständnis von der betrieblichen Anwendung des Unternehmenschecks zu erlangen, wird die selbstständige Bearbeitung (Anwendungsmuster ohne Beratung) mit der Begleitung durch eine/n Berater*in (Anwendungsmuster mit Beratung) kontrastiert.

Im Mittelpunkt stehen die betrieblichen Prozesse, die mit der Bearbeitung des Checks initiiert werden. Dazu werden mit Hilfe eines Mixed-Methods Design in zwei Teilstudien quantitative Daten (online Befragung) erhoben, die durch qualitative, hierarchieübergreifende Interviews angereichert werden. Ein anschließendes Daten-Matching soll die Validität der Ergebnisse steigern (Jick 1979). Die quantitativen Daten werden dabei nicht nur durch die qualitativen Daten komplementiert, diese können auch im Sinne eines „Vertiefungsmodells“ deren Interpretationstiefe optimieren (Mayring 2001). Durch diese Methodenkombination sollen im Ergebnis erfolgreiche betriebliche Vorgehensweisen abgeleitet werden.

Limitationen: Da Unternehmen für das Projekt rekrutiert neu werden mussten, besteht die Stichprobe nicht nur aus Unternehmen, die die Checkdurchführung initiativ anstrebten. Daher haben die erhobenen Daten keine Aussagekraft hinsichtlich der Frage, inwieweit das Instrument tatsächlich die intendierte Zielgruppe erreicht.

Wie kann ein Selbstevaluationstool aussehen, das das Gelingen von transformativer Forschung (TF) – also Projekte mit transdisziplinärer Zusammensetzung und dem Anspruch die sozial-ökologische Transformation der Gesellschaft zu befördern – evaluiert? Das war eine zentrale Fragestellung mit der sich die Forscherinnen des BMBF-geförderten Forschungsprojekts „Q-trans – Qualitätsmessung in transformativen Projekten“ (Förderlinie: Qualitätsentwicklung in der Wissenschaft, Laufzeit: 2019-2022) auseinandersetzten.

Als Ergebnis wurde ein fachkontextunabhängiges Selbstevaluationsinstrument in Form eines Fragebogens entwickelt, das indikatorengeleitet den Projektprozess und die -ergebnisse betrachtet und die Projektbeteiligten so gezielt auf Themen aufmerksam macht, die für das Gelingen eine Rolle spielen. Dadurch wird jede*r einzelne Nutzer*in des Selbstevaluationsbogens zur Reflexion anregt und kann ihr/sein Handeln entsprechend anpassen, um so das Gelingen des Projekts zu befördern.

Inhaltlich setzt sich das Selbstevaluationsinstrument aus sechs im Rahmen von Q-trans empirisch validierten Indikatoren zusammen, die für das Gelingen von TF relevant sind:

1. TF wird durch Treiber vorangebracht.
2. TF generiert System-, Ziel- und Transformationswissen bei allen Projektbeteiligten.
3. TF zeichnet sich durch transdisziplinäre Zusammenarbeit & Wissensintegration aus.
4. TF zeichnet sich durch nicht-hierarchische, kontinuierliche & transparente Kommunikation aus.
5. TF zeichnet sich durch iterative Reflexion aus.
6. TF generiert übertragbare & skalierbare Projektergebnisse.

Mit Blick auf den bestehenden Evaluationsbogen stellt sich nun die Frage: Welche Chancen bietet das Selbstevaluationstool? Aber auch, welche Grenzen für die Evaluation ergeben sich daraus? Der Kurzvortrag soll in einem Blitzlicht die Stärken und Schwächen des Evaluationsinstruments vorstellen und dabei auf die Möglichkeit der Anwendung des Tools in anderen Projektkontexten sowie für andere Fragestellungen eingehen.

Das Evaluationsvorhaben begleitet die Münchner Stiftung Kick ins Leben (SKiL) bei dem Aufbau von fünf schulzentrierten Netzwerken im Sinne lokaler Bildungslandschaften. Bildungslandschaften beziehen eine Vielzahl an Bildungsorten und -akteuren in die optimierte Förderung von Schüler:innen mit ein und deren Aufbau gilt es evaluativ zu begleiten.

Die Evaluation beschäftigt sich mit der übergeordneten Fragestellung, inwiefern die SKiL – als „philanthropischer“ Akteur im Bildungssystem – dazu in der Lage ist, schulzentrierte lokale Bildungslandschaften zu initiieren und welche Erfolgsfaktoren und Hindernisse innerhalb dieses Prozesses identifiziert werden können.

Die formative Evaluation erstreckt sich über drei Messzeitpunkte und folgt einem partizipativen Forschungsverständnis. Der Partizipationsansatz und die Verwendung eines Mixed Methods Designs (multiphase) zielen darauf ab, eine möglichst hohe Akzeptanz der Ergebnisse bei den Beteiligten und damit eine evidenzbasierte Steuerung des Kooperationsaufbaus zu erzielen.

Die Evaluation widmet sich zunächst der Frage, in welchem Ausmaß bereits Kooperationsstrukturen zwischen den Akteuren der SKiL, der Schule, der non-formalen Bildung und den Eltern bestehen (Context / QUAN). Für deren Beantwortung wurden 61 egozentrierte Netzwerke erhoben bzw. Akteure der SKiL hinsichtlich ihrer schulbezogenen Kooperationen befragt. Die Einbettung der Akteure in den Sozialraum Schule wurde auf mehreren Ebenen analysiert und gemeinsam mit dem Kooperationsmanagement in einer Interpretationswerkstatt diskutiert. Um die Veränderung der Kooperationsstrukturen zu untersuchen, wird dieselbe Analyse zu Messpunkt 3 erneut durchgeführt (Product / QUAN).

Zudem wurden zu Messzeitpunkt 1 Ziele und Maßnahmen für die Netzwerke in SKiL-internen Workshops erarbeitet und in problemzentrierten Triaden mit den Schulleitungen finalisiert (Input / QUAL). Anschließend wurde zu Messzeitpunkt 2 ein erster Zwischenstand der Zielerreichung ermittelt und die damit einhergehende Prozesssteuerung durch die SKiL in einer multiperspektivischen Interview-Reihe beleuchtet (Process / QUAL). Zu Messzeitpunkt 3 wird die finale Zielerreichung abschließend diskutiert (Product / QUAL).

Im Rahmen des Blitzvortrags wird der Gegenstand, das Design sowie ausgewählte Ergebnisse der ersten beiden Messzeitpunkte präsentiert. Anhand dieser soll das Potenzial partizipativer Mixed Methods Designs für Evaluationen und die Akzeptanz deren Steuerungsempfehlungen diskutiert werden.

Hintergrund:

Infolge der weltweit zunehmenden Konnektivität bietet der digitale Wandel eine einzigartige Gelegenheit, die Entwicklungsziele mithilfe neuer Technologien und Ansätze effizienter und effektiver zu erreichen. Mit dem Ziel, eine faire, menschenzentrierte digitale Transformation weltweit mit den Akteuren des digitalen Ökosystems zu gestalten, hat das BMZ das Thema "Digitalisierung in der Entwicklungszusammenarbeit" als Qualitätskriterium und Schwerpunkt in der BMZ-Reformstrategie 2030 verankert und mit Priorität versehen. Ziel ist es, die Chancen der digitalen Transformation für die deutsche Entwicklungszusammenarbeit zu nutzen und die Risiken zu minimieren.

Evaluierung von Wirkungen digitaler Ansätze:

Die Stabstelle Evaluierung der GIZ evaluiert aktuell zwei Digitalisierungsprojekte der GIZ:

1) Das Sektorprogramm "Digitale Entwicklung" berät und unterstützt das BMZ bei der Umsetzung zahlreicher Initiativen des Ministeriums entlang seiner veröffentlichten Digitalstrategie. Das Sektorvorhaben verfolgt das Ziel, Ansätze und Methoden der nachhaltigen digitalen Entwicklung verstärkt in das Portfolio der deutschen Entwicklungszusammenarbeit zu integrieren, um mehr Wirksamkeit, Partizipation und Transparenz zu erreichen.

2) Das Globalprogramm "Digitale Transformation" leistet Beiträge zur Operationalisierung der Digitalisierungsinitiative. Das Vorhaben setzt digitalpolitische Initiativen des BMZ weltweit um, um mit den Akteuren des digitalen Ökosystems eine faire, menschenzentrierte digitale Transformation zu gestalten.

Hinsichtlich des Erkenntnisinteresses an dieser Evaluierung hat die GIZ-Evaluierungseinheit einen doppelten Zweck formuliert: Einerseits sollen die Erfolge des Sektorprogramms auf der Grundlage der OECD-DAC-Kriterien dokumentiert werden, um zur Rechenschaftslegung und Legitimation beizutragen. Andererseits soll die Evaluierung Wirkungen der Digitalisierung auf Entwicklungs- und Transformationsprozesse identifizieren. Diese Wirkungen werden anhand bestimmter Flaggschiffe des Globalprogramms "Digitale Transformation" bewertet, die in der Inception Phase ausgewählt wurden. Die Evaluierung soll dazu dienen, Erkenntnisse über die Beiträge der Flaggschiffe zur digitalen Transformationsagenda des BMZ zu gewinnen und die Bedingungen zu identifizieren, unter denen die Digitalisierungsinitiativen am besten zu Entwicklungsergebnissen beitragen können.

Das Poster stellt den methodischen Ansatz und die Ergebnisse der Evaluierung vor.

Beteiligungsprozesse gehören seit über einem halben Jahrhundert zum Alltag der Stadtentwicklungspraxis, in Deutschland und international. Ebenso lang sind sie Gegenstand von Forschungsarbeiten. Wiederkehrend werden dabei Fragen nach den Wirkungen oder dem Erfolg der Beteiligung gestellt. Wirkungsvolle Beteiligung wird verschiedentlich als Handlungsziel benannt. Dennoch bleibt empirisches Wissen über Wirkungen von Beteiligungsprozessen in der Stadtentwicklung rar. In den vergangenen Jahren sind etliche Handbücher, Leitlinien und Qualitätskriterien erschienen; einer einschlägigen Wirkungsforschung wird jedoch anhaltend unterstellt, sie stecke in den Kinderschuhen. Vor diesem Hintergrund habe ich in meiner kürzlich veröffentlichten Dissertation Hemmnisse, Stellschrauben und Perspektiven für die Durchführung von Wirkungsanalysen zu Beteiligungsprozessen in der Stadtentwicklung ergründet.

Das Poster stellt das Vorgehen zur Untersuchung von Hemmnissen und Stellschrauben sowie Kernergebnisse dar. Zunächst wurden mögliche Hemmnisse für die Durchführung von Wirkungsanalysen mithilfe einer Kreativitätstechnik und Literaturarbeit gesammelt und mit Expert:innen in einem Workshop diskutiert. Darauf aufbauend sind 15 Thesen zu beeinflussbaren Hemmnissen entstanden, die im Rahmen einer Online-Befragung 90 Personen zur Gewichtung vorlagen. Anschließend erfolgte ein Vergleich der Ergebnisse in Auswertungsgruppen, unterschieden nach beruflichen Tätigkeitsschwerpunkten der Befragten und ihrem Sachverstand zu Beteiligungsprozessen, Stadtentwicklung sowie Wirkungsanalysen. In einem weiteren Schritt wurden Anregungen aus der Befragung ausgewertet und die 15 identifizierten Hemmnisse systemisch auf Wechselwirkungen untersucht. Dabei wurde auf den Papiercomputer und die Sensitivitätsanalyse nach Vester (1976, 1980, 1999) zurückgegriffen. Online-Befragung und systemische Untersuchung belegen, dass bedeutende Hemmnisse verschiedenartig sind und vielfältig ineinandergreifen. Mehr Ressourcen oder eine verbesserte Methodik allein führen demnach nicht zu mehr oder besseren Wirkungsanalysen. Als einzige Stellschraube, um entsprechende Analysen zu befördern, wurde das Setzen von Anreizen und Vorgaben identifiziert. Herausfordernd ist zudem, dass Aufwand und Nutzen von Wirkungsanalysen sowohl zeitlich als auch institutionell auseinanderfallen.

Die Bedeutung von digitalen Lösungsansätzen in der Entwicklungszusammenarbeit hat in den letzten Jahren deutlich zugenommen. Die erwarteten Wirkungen in der Projektumsetzung sind vielfältig und reichen von einer erhöhten Breitenwirksamkeit, Transparenz und Effizienz bis hin zur gesellschaftlichen Transformation. Die digitale Transformation in Partnerländern ist eine Chance, um globalen Herausforderungen effektiv zu begegnen. Allerdings hat sich die Digitalisierung in Entwicklungsprojekten fast ausschließlich darauf konzentriert, aufzuzeigen, dass innovative digitale Technologien eingesetzt werden können. Evidenz über die Wirkungen digitaler Lösungen und deren Mehrwert zur Erreichung von Projektzielen fehlen hingegen oft.

„Digital by Default“ beschreibt den seit 2018 in der GIZ umgesetzten Ansatz, digitale Lösungen in jedem neuen Projekt einzusetzen, wenn diese effektiv und nachhaltig Projektziele unterstützen sowie den Prinzipien „Do no harm“ und „Leave no one behind“ Rechnung tragen. Das digitale Portfolio der GIZ ist seither stetig gestiegen und umfasst mehr als 500 laufende Projekte in über 120 Ländern und verschiedenen Sektoren. Um die wirkungsorientierte Umsetzung des Digital by Default-Ansatzes zu unterstützen, hat die Stabsstelle Evaluierung zwischen 2019 und 2021 die Evaluierung "Harvesting Digital Service Results" durchgeführt. Die Evaluierung liefert einen ersten Zwischenstand: Wo stehen wir mit unseren Bemühungen, den digitalen Wandel in unseren Partnerländern zu unterstützen und was können wir künftig verbessern? Die Evaluierung besteht aus vier Modulen, die aufeinander aufbauen und Evidenzen zu unterschiedlichen Wirkungsebenen liefern. Die berücksichtigte Datengrundlage wurde dabei sukzessive erhöht.

Die Ergebnisse der Evaluierung zeigen, dass digitale Lösungen besonders häufig zu einem verbesserten Zugang zu Daten und Informationen, effizienteren Prozessen und einer höheren Reichweite der Leistungen beitragen. Seltener werden dadurch hingegen die Teilhabe und Inklusion der Zielgruppe gefördert sowie die Skalierbarkeit und Nachhaltigkeit von digitalen Lösungen erzielt. Der Aufbau von digitalen Kompetenzen, die Förderung der digitalen Infrastruktur und der Zugang zu digitalen Technologien stellen in Kombination mit einer Nutzer*innenzentrierung zentrale Erfolgsfaktoren dar. Dabei sollten digitale Lösungen in einen breiter angelegten Digitalisierungsrahmen eingebettet sein und Partner früh am Prozess beteiligt werden.