Evaluation hat sich in vielen Politikfeldern als eine wichtige Informationsquelle für die Steuerung und Entscheidungsfindung etabliert. Dies gilt auch für die Entwicklungspolitik, in der Evaluation seit Jahrzehnten verankert ist und als wesentlicher Bestandteil einer evidenzbasierten Politikgestaltung angesehen wird. Bei der Bewertung von Maßnahmen und Programmen steht Evaluation vor der Herausforderung, die Ansprüche unterschiedlicher Interessensgruppen in Einklang zu bringen, um die Nutzung der gewonnenen Erkenntnisse zu gewährleisten. Auf der einen Seite bestehen Ansprüche an die wissenschaftliche Glaubwürdigkeit und Qualität von Evaluation sowie der Wunsch nach möglichst empirisch belastbaren und nachvollziehbaren Informationen. Demgegenüber stehen politische Handlungszwänge sowie praktische Bedarfe der für die Umsetzung und Steuerung von Maßnahmen verantwortlichen Entscheidungsträger*innen.

In der Fishbowldiskussion mit Vertreter*innen aus Politik, Wissenschaft sowie Evaluations- und Durchführungspraxis sollen die Herausforderungen, die bei der Abwägung zwischen den Ansprüchen an wissenschaftliche Glaubwürdigkeit und Genauigkeit von Evaluation einerseits und der praktischen Umsetzbarkeit sowie einer bedarfsorientierten Problembearbeitung andererseits entstehen, aus unterschiedlichen Perspektiven beleuchtet werden.

Jede Evaluation ist genauso wie die untersuchten Programme, Institutionen und Prozesse einzigartig, weshalb auch die jeweiligen Schwierigkeiten (z.B.: Datenverfügbarkeit, Machtverhältnisse in der Auftragsbeziehung, Interpretation der Daten, …) häufig nicht als vergleichbar wahrgenommen werden. Obwohl diese Herausforderungen mitunter das größte Lernpotenzial in sich tragen, bietet der Evaluationsalltag selten Räume für eine breitere Reflexion über diese. Wir möchten daher in dieser Session eine Möglichkeit zum Austausch und des gegenseitigen Lernens bieten und uns damit an Evaluationsexpert:innen aller Felder und Karrierestufen richten.

In dieser Peer Counseling Session sollen ca. drei konkrete und aktuell un- bzw. nicht zufriedenstellend gelöste Schwierigkeiten im Zuge laufender oder kürzlich abgeschlossener Evaluationen behandelt und in kleinem Kreis aufgearbeitet werden. Diese Fälle werden im Vorfeld vor der Tagung identifiziert und gemeinsam mit den Veranstaltenden aufbereitet. Hierfür werden Fälle von den jeweiligen Evaluator:innen in die Session eingebracht und präsentiert, um sie danach in der Community sowie in Kleingruppen zu diskutieren und mögliche Lösungsansätze gemeinsam zu entwickeln.

Während einerseits die Lösungskompetenzen aller Mitwirkenden gestärkt und erprobt werden, bietet dieses Format Gelegenheit, den Austausch zwischen erfahrenen und jungen Akteur:innen im Feld zu fördern und gegenseitiges Lernen zu ermöglichen sowie fächerübergreifende Expertise oder spezifisches Methodenwissen auszutauschen. Gleichzeitig können praxisbezogene Einblicke in andere Evaluationsfelder gewonnen werden.

Foresight ist ein mittlerweile weitverbreitetes Instrument zur Entwicklung langfristiger Strategien und Maßnahmen. Es ist sinnvoll, auch Foresight-Prozesse regelmäßig zu evaluieren. Voraussetzung hierfür ist ein passendes Methodenset, dass auf die methodischen Herausforderungen zugeschnitten ist. Dazu gehört zu Beispiel, dass Foresight-Prozesse in der Regel immaterielle Ergebnisse liefern und nicht automatisch mit konkreten Maßnahmen verknüpft werden. Denn wie lässt sich überhaupt bestimmen, woran der Erfolg eines Foresight-Prozesses festgemacht werden kann: Wenn besonders viele Akteure aus unterschiedlichen Systemen (Gesellschaft, Politik, Wissenschaft, Wirtschaft) beteiligt wurden? Wenn die eingesetzten Methoden besonders geschickt ausgewählt waren und zur Ableitung konkreter Maßnahmen beigetragen haben? Wenn der Prozess effizient geplant und durchgeführt wurde? Wenn der Prozess zur Methoden(weiter)entwicklung beigetragen hat? Wie viele konkrete Maßnahmen abgeleitet und umgesetzt wurden? Oder kann es nur darum gehen, die Wirksamkeit der Ergebnisse im Sinne eines gesellschaftlichen Impacts zu erfassen?

In der vorgeschlagenen Session soll es darum gehen, gemeinsam mit erfahrenen Foresigh-Evaluator:inn zu schauen, ob und inwieweit sich Foresight-Prozesse von anderen Evaluationsgegenständen unterscheiden und ob es daher spezieller Methoden-Anforderungen bedarf.

In drei kurzen Vorträgen werden Impulse für die Diskussion gesetzt. Die Einführung zur Strategischen Vorausschau macht das Publikum mit der Thematik und unterschiedlichen methodischen Ansätzen vertraut. Nadia Meyer vom DLR Projektträger (DLR-PT) und Roman Noetzel, Geschäftsführer des Instituts für qualifizierende Innovationsforschung und -beratung (IQIB) präsentieren dies anhand von eigenen Fallbeispielen. Der Vortrag zu den Evaluationsempfehlungen der European Foresight Platform (efp) zeigt auf, welche Erfahrungen in verschiedenen europäischen Foresight-Studien gesammelt werden konnten. Das Projekt wird von Dr. Susanne Giesecke vom Austrian Institut for Technology (AIT) vorgestellt. Manfred Spiesberger vom Zentrum für Soziale Innovation (ZSI) rundet das Bild mit seinem Beitrag zur Evaluation von Foresight in Transnationalen Forschungsprogrammen ab und gibt einen weiteren komplementären Einblick. Den Abschluss bildet eine moderierte Podiumsdiskussion, in die auch das Plenum einbezogen werden soll.

Alles ChatGPT oder was? – Chancen und Herausforderungen Künstlicher Intelligenz (KI) in der Evaluation

Gemeinsame Session (Workshop) der DeGEval-Arbeitskreise "Methoden in der Evaluation" und "Professionalisierung"

Mitwirkung: Kai Rompczyk, Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit gGmbH

In einer gemeinsamen Session möchten sich die beiden DeGEval-Arbeitskreise „Methoden in der Evaluation“ und „Professionalisierung“ den Chancen und Herausforderungen des Einsatzes von KI in der Evaluierungsarbeit und für Evaluierende nähern. Dafür stellen wir zunächst durch Impulse ein gemeinsames Verständnis darüber her, was unter KI zu verstehen ist und reflektieren, wie und unter welchen Bedingungen KI in der Evaluation zur Anwendung kommen kann.

Hiervon ausgehend sollen sodann in moderierten Kleingruppen die Chancen und Risiken des Einsatzes der Technologien strukturiert mit Blick auf zentrale Evaluationsstandards beleuchtet und diskutiert werden. Im Fokus steht dabei die Frage danach, was der Einsatz von KI für unsere Professionalität und weitere Professionalisierung als Evaluator*innen bedeutet.

Gleichstellungsstrategien wirken als Steuerungsinstrumente in zahlreichen Politikfeldern und auf unterschiedlichen Ebenen: Beispielsweise auf europäischer und nationaler Ebene (z.B. ressortübergreifende Gleichstellungsstrategie der deutschen Bundesregierung, im Hochschulsektor), oder auf der Ebene der Bundesländer (z.B. Gleichstellungspolitische Rahmenprogramme in Sachsen-Anhalt, im Land Berlin oder im Land Hamburg) und Kommunen. Auch Organisationen geben sich Gleichstellungsstrategien.

Allerdings werden diese Strategien beziehungsweise die zugehörigen Ziele und Indikatoren wie auch die tatsächlichen Umsetzungsprozesse und Wirkungen nur selten evaluiert. Dies, so die These, liegt zum einen an der Qualität mancher Strategien selbst, aber auch an Lücken in den Steuerungszyklen, wenn es darum geht, immer wieder auf Evidenz zurückzugreifen.

Angesichts aktueller Gleichstellungsthemen, beispielsweise der Berücksichtigung von Geschlechtervielfalt, von Genderkompetenz oder von intersektionalen Ungleichheiten, stehen Evaluation und Monitoring in einem Praxisdilemma. Denn Datenlücken („gender and intersectionality data gaps“), fehlende Indikatoren oder kleine Fallzahlen erschweren oft eine angemessene Berücksichtigung.

So werden die (inzwischen drei) Gleichstellungsberichte aus Deutschland zwar “bilanziert”, aber inwieweit diese Bilanz orientierend im weiteren Verlauf von Analyse, Umsetzung, Monitoring und Evaluierung wirken kann, bleibt offen. Es wäre im Sinne eines politisch informierten Steuerungszyklus erstrebenswert, gleichstellungspolitische Steuerungsprozesse noch stärker auf soliden Daten und Analysen, präzisen Zielen, passender Indikatorik, aufbauen zu lassen.

Dr. Angela Wroblweski (IHS - Institut für höhere Studien), Dr. Anke Lipinsky (GESIS - Leibniz Institut für Sozialwissenschaften), Dr. Regina Frey (Gender-Institut für Gleichstellungsforschung) und Dr. Irene Pimminger (sozialwissenschaftliche Forschung & Beratung) stellen in Form von kurzen Impulsen Erfahrungen mit Gleichstellungsstrategien und gleichstellungspolitischer evidenzbasierter Steuerung im Hochschulsektor, auf nationaler, europäischer und organisationaler Ebene vor, die am Podium diskutiert werden.

Dr. Karin Grasenick (convelop cooperative knowledge design gmbh) moderiert das Podium und die anschließende Diskussion mit den Teilnehmenden, in der weitere Erfahrungen eingebracht und Beispiele verglichen werden. Es könnten hieraus Qualitätsstandards für und deren Umsetzung entwickelt werden.

Mit dem Wunsch nach Evidenz ist das Ziel verbunden, Phänomene auf Basis wissenschaftlicher Untersuchungen nachzuweisen und somit eine Basis für rationale Entscheidungen zu schaffen.

In der Evaluationspraxis bestehen unterschiedliche Verständnisse von Evidenz sowie unterschiedliche Strategien diese herzustellen oder sich dieser anzunähern (bspw. über Plausibilität). Das Spektrum dieser Verständnisse und Strategien soll aus der Perspektive unterschiedlicher Handlungsfelder reflektiert werden.

Eng verbunden mit der Suche nach überzeugender Evidenz ist die Einbeziehung von Beteiligten und Betroffenen. Auch hierzu gibt es in unterschiedlichen Politikfeldern verschiedene Notwendigkeiten, Herangehens- und Umsetzungsweisen. Daraus folgt u. a., dass der Zuschnitt und die methodische Umsetzung von Evaluationen immer auch eine politische Dimension in sich tragen. Das sich ergebende Spannungsfeld zwischen Alltagstauglichkeit und Wissenschaftlichkeit soll in der Session ausgeleuchtet werden.

In einer Fishbowl-Diskussion mit kurzen Impulsen von Vertreter:innen der AKs Demokratie, Gesundheit, Soziale Dienstleistungen, Stadt- und Regionalentwicklung stehen folgende Leitfragen im Mittelpunkt. Personen aus dem Publikum haben jederzeit die Möglichkeit, sich an der Diskussion aktiv zu beteiligen.

• Was bedeutet Evidenz im jeweiligen Politikfeld? Wo gibt es Gemeinsamkeiten und Unterschiede?
• Welche Ressourcen, Designs, und Methoden braucht die Evaluationspraxis jeweils, um Evidenz zu erreichen?
• Was bedeutet Kausalität im jeweiligen Politikfeld?
• Welchen Stellenwert hat die Beteiligung von Stakeholdern? Inwieweit kann sie einen Beitrag zur Stärkung von Evidenz leisten?
• Wie kann eine praktische Theorie der Evidenz für Evaluation aussehen?
• Welches sind zentrale Erfolgsfaktoren und gelingende Vorgehensweisen zur Herstellung von Evidenz?

Die politikfeldspezifische Session „Evaluationen von digitalen Plattformen in der beruflichen (Weiter-)Bildung“ greift die Leitfrage der DeGEval-Jahrestagung 2023 auf, inwiefern plattformbezogene Evaluations- bzw. Metadaten als eine valide Grundlage für (technologische und didaktische) Entwicklungs- und Entscheidungsprozesse herangezogen werden können. Die in digitalen Lehr-/Lernformaten gesammelten Evaluations- und Metadaten können zum einen die User/-innen bei ihrem individuellen Lernprozess unterstützen, zum anderen können daraus Verbesserungshinweise zur Gestaltung adressatengerechter (Weiter-)Bildungsangebote oder zur Weiterentwicklung der Nutzerfreundlichkeit von Lernplattformen abgeleitet werden.

In der politikfeldspezifischen der Session sollen anhand von zwei Forschungs- und Entwicklungsprojekten aus dem BMBF-geförderten Innovationswettbewerb INVITE folgende drei Fragestellungen diskutiert und durch erste Evaluationsergebnisse illustriert werden:

• Wie können Lernende in der Weiterbildung als Zielgruppe in die Evaluation von Gestaltungswissen zu Pedagogical Conversational Agents eingebunden werden? Welche interessanten Ergebnisse wurden hierdurch bereits erzielt?
• Welches Gestaltungspotenzial bergen die Evaluationsdaten für die a) jeweiligen Zielgruppen berufsbezogener (Weiter-)Bildung, b) für Weiterbildungsanbietenden/ Plattformbetreibenden und c) für Unternehmen/KMU?
• Inwiefern können (digitale) Evaluations-/Metadaten zur validen Weiterentwicklung von digitalen (Weiter-)Bildungsangebote und (Weiter-)Bildungsplattformen beitragen?

Diskutanten*innen:

• Sebastian Wollny (Projekt IWWB-Plus) > angefragt
• Dr. Ricarda Schlimbach (Projekt StuBu; Gestaltungswissen für Lern-Companions in Co-Creation mit der Zielgruppe designen und evaluieren)

Moderatorinnen:

• Dr. Claudia Zaviska (Sprecherin des AK Berufliche Bildung, zaviska@bibb.de)
• Anne Küttel (Sprecherin des AK Berufliche Bildung, a.kuettel@ceval.de )

Format: Zwei 30-minütige Vorträge (inkl. Rückfragen aus dem Plenum) und anschließende Podiumsdiskussion der drei Leitfragen im Fishbowl-Format (d.h. Teilnehmende aus dem Plenum können sich aktiv an der Diskussion beteiligen, indem sie sich auf einen freien Stuhl im Diskussionskreis setzten).

Die Förderung Sozialer Innovationen rückt immer mehr in den Fokus von Innovationspolitik und öffentlichem Interesse in Deutschland. Dies zeigt sich unter anderem in Förderrichtlinien des Bundesministeriums für Bildung und Forschung (BMBF) wie „Gesellschaft der Ideen“, „Gesellschaft der Innovationen“ oder auch „Insight“, die Soziale Innovationen in verschiedenen Facetten adressieren. Gleichzeitig existiert eine Vielzahl an Akteuren der organisierten Zivilgesellschaft, die sich mit dem Thema Soziale Innovationen beschäftigen. Auch in Österreich wird Sozialen Innovationen mit Einrichtungen wie dem Zentrum für Soziale Innovation und dem Verein Social Innovation Wien oder dem 2021 ausgelaufenen Social Crowd Funding Programm deutliche Beachtung entgegengebracht. Auf europäischer Ebene nimmt das Thema Soziale Innovation im Rahmen von ESF+ (2021-2027) ebenfalls einen relevanten Stellenwert ein.

Im wissenschaftlichen Diskurs zeigen sich unterschiedlichste Definitionen. Die Bundesregierung definiert in der Hightech-Strategie 2025 Soziale Innovationen als „[…] neue soziale Praktiken und Organisationsmodelle, die darauf abzielen, für die Herausforderungen unserer Gesellschaft tragfähige und nachhaltige Lösungen zu finden.“ Sie sollen Antworten darauf geben, wie wir in Zukunft vor dem Hintergrund großer Herausforderungen wie dem Klimawandel oder dem demografischen Wandel zusammenleben, arbeiten und unser Miteinander besser organisieren können. Soziale Innovationen können, müssen aber nicht-technologie-induziert sein. Beispiele für durch soziale Innovationen veränderte soziale Praktiken sind die Möglichkeiten des Homeoffice, Lernen über YouTube oder Essen auf der Straße.

Im Zuge der immer größer werdenden Vielfalt im Bereich Sozialer Innovationen steigt auch der Bedarf für eine Wirkungsmessung.

• Wissenschaft und Praxis: Welche Übereinstimmungen gibt es in den Diskursen? Welche Good Practices können beobachtet werden?
• Methoden: Welche Ansätze eignen sich für welche Akteursgruppen?
• SI-Indikatoren: Inwieweit gibt es Fragestellungen, die sich durch SI/Themen-spezifische Indikatoren messen lassen? Welche Voraussetzungen müssen für eine (vergleichbare) Wirkungsmessung geschaffen werden?

Drei Vorträge geben unterschiedliche Perspektiven auf das Themenfeld.

• Dr. Jürgen Streicher (Joanneum Research)
• Dr. Judith Terstriep (Institut Arbeit und Technik)
• Olga Almqvist (ESMT European School of Management and Technology)

FTI-Politik ist im Begriff sich zu wandeln: Sie wird zunehmend mit dem Anspruch formuliert und umgesetzt, Ziele und Vorgaben („Missionen“) zu erreichen, die sich an gesellschaftlichen Herausforderungen orientieren (Wittmann et al. 2020; Polt et al. 2021; Larrue 2021). Der neue Ansatz der FTI-Politik hat weitreichende Folgen für die Evaluation. Evaluationsdesigns müssen sich den veränderten Perspektiven und Prioritäten konzeptionell, methodisch und instrumentell anpassen (Fisher et al., 2018; Janssen et al., 2022). Dies geht über bisherige Ansätze von Begleitevaluationen hinaus.

Konzeptionell geht es darum, den Evaluationsgegenstand entsprechend zu erweitern und Systemgrenzen neu zu ziehen. Evaluationen müssen in Verbindung mit der Theorie of Change über ein theoretisches Gerüst verfügen, mit dem sie gesellschaftliche Transformationsprozesse in den Blick nehmen können. Lernprozesse zu Wirkmechanismen auf Ebene der ausgewählten inhaltlichen Schwerpunkte der Missionen sind zu ermöglichen, die das Programmlernen unterstützen, indem sie in einen Zyklus aus Planung, Umsetzung, Reflexion, Neujustierung eingebettet sind. Evaluationen müssen daher verstärkt inhaltlich auf die Governance, Synergien, Barrieren, Potenziale und Forschungsbedarfe eingehen. Methodisch wird es noch wichtiger, Stakeholder anderer Maßnahmen und aus anderen Politikfeldern systematischer in diese Lernprozesse einzubinden. Damit einher geht eine stärkere Verschränkung von Foresight und Hindsight, die sich auf die einzusetzenden Erhebungs- und Analyseinstrumente auswirkt. Offen ist, wie sich zudem die Rolle von Evaluation verändert, z.B. im Hinblick auf die Legitimationsfunktion.

Das 8. Energieforschungsprogramm (EFP) soll als missionsorientiertes neues Programm die Ziele der Bundesregierung im Wärme- und Stromsektor für 2030 und 2045 unterstützen. Es richtet sich auf die Umsetzung der Energiewende und die Beschleunigung der Transformation. Der Vortrag stützt sich auf Ergebnisse der Begleitevaluation des 7. EFP des BMWK, die als bereits transitionsorientierte Evaluation die Vorbereitung des 8. EFP unterstützt. Der Vortrag zeigt, wie im Evaluationsdesign auf die oben genannten Herausforderungen eines solchen Übergangs eingegangen wird.

Forschungsförderprogramme sind immer stärker auf gesellschaftliche Herausforderungen, eine nachhaltige Entwicklung und deren entsprechenden Wirkungen ausgerichtet. Damit einhergehend ist auch der Bedarf an geeigneten Evaluationsansätzen und -verfahren zur Abschätzung des gesellschaftlichen Beitrags von Forschung gestiegen. Aufgrund der Komplexität von Innovationssystemen (Datenverfügbarkeit, time-gap, attribution-gap) kann i.d.R. keine Wirkungsmessung, sondern bestenfalls eine Abschätzung der Wirkung oder der Wirkungspotenziale erfolgen.

Basierend auf vielfältigen Konzepten zur Entwicklung von Wirkungspotenzialen wurde im SynSICRIS Projekt ein Kriterien-Set und ein Monitoring-Tool entwickelt. Dieses soll eine Ex-post Evaluation von anwendungsorientierten Forschungsvorhaben v.a. im Agrar-, Umwelt- und Ernährungsbereich ermöglichen. Die daraus resultierenden Ergebnisse sollen auch für die Programmevaluierung genutzt werden können. Konzeptionelle Grundlage für die Entwicklung bilden u.a. Produktive Interaktionen, transdisziplinäre Forschung, Responsible Research and Innovation, Technikfolgenabschätzung, Wissens- und Technologietransfer, Open Science, Innovationssysteme und Nachhaltige Innovationen.

Die verschiedenen Konzepte wurden in das Kriterien-Set integriert, indem Gemeinsamkeiten zusammengeführt und Divergenzen komplementär kombiniert wurden (z.B. hinsichtlich Transferstrategien über Schutzrechte oder Open Access). So wird eine Vielzahl unterschiedlicher Forschungsmodi adäquat abgedeckt. Das literaturbasierte Kriterien-Set wurde mit Expert:innen mehrfach reflektiert und mit dem dafür erforderlichem Monitoring abgeglichen. Mit diesen iterativen Syntheseschritten wurde ein valides Kriterien-Set geschaffen, das aus rund 60 thematisch gegliederten Kriterien besteht. Die zu den Kriterien passgenau bereitgestellten Informationen aus dem Monitoring-Tool erlauben eine objektive Wirkungsabschätzung von Forschungsvorhaben durch externe Gutachter:innen.

Durch die wiederholte Ex-post Evaluation verschiedener Projekte wird das Kriterien-Set erprobt. Hierbei sollen die statistischen Kennwerte überprüft und die Ergebnisse Verbesserungen am Kriterien-Set (v.a. der Frageformulierung) genutzt werden. So soll auch die Reliabilität hinreichend gewährleistet werden.

In dem Beitrag wird das Kriterien-Set vorgestellt, die Entwicklung kritisch reflektiert und Ergebnisse aus der Erprobung präsentiert.

Im Kontext drängender gesellschaftlicher Herausforderungen besteht ein zunehmendes Interesse in der Forschungsförderung, das Wirkungspotenzial von Forschung zu fördern, zu steuern und Projekte und Programme entsprechend zu evaluieren.

Für diesen Bedarf wurde im SynSICRIS-Projekt ein Kriterien-Set und ein Monitoring-Tool entwickelt. Hierfür wurde auf etablierte Konzepte zur Entwicklung von Wirkungspotenzialen zurückgegriffen, u.a. Produktive Interaktionen, transdisziplinärer Forschung, Responsible Research and Innovation, Technikfolgenabschätzung, Wissens- und Technologietransfer, Open Science, Innovationssysteme und Nachhaltige Innovationen.

Für das Monitoring-Tool wurde das Open Source Forschungsinformationssystem DSpace-CRIS um Inhalte aus den oben genannten Konzepten erweitert und Funktionen entwickelt, die einen Einsatz im Rahmen der Forschungsförderung ermöglichen. Forschende werden von der Planung bis nach Projektende in ihrer Wirkungsorientierung unterstützt und erfassen hierzu strukturiert Informationen. Dadurch können zum Teil Anträge und Berichte in Textform ersetzt werden, während gleichzeitig vielfältige Informationen für Förderprozesse und die Evaluierung von Projekten und Programmen zur Verfügung stehen.

Der Funktionsumfang erlaubt es den Forschenden Einträge in einem Wirkungspfad (Impact Pathway), einem Arbeitsplan und einem Verwertungsplan individuell anzuordnen. Eine Versionierung ermöglicht es, zu bestimmten Berichtszeitpunkten eine „eingefrorene“ Version für den Fördermittelgeber freizuschalten. Das Tool bietet umfassende Such- und Filterfunktionen, die mit vorkonfigurierten Diagrammen verknüpft sind. Es besteht eine Exportfunktion in PDF-Dokumente (z.B. als Vorhabensbeschreibung) und in CSV-Format für weitergehende Auswertungen (z.B. über Excel). Mit diesem Funktionsumfang werden aufwandneutral Informationen zum Wirkungspotenzial erfasst, die vielfältig nutzbar, vergleichbar und aggregierbar sind.

Nach einer 5-jährigen partizipativen Entwicklungsphase, einschließlich Erprobung (in der Agrar-, Umwelt- und Ernährungsforschung) ist das Monitoring-Tool nun reif für eine Pilotphase. In dieser wird eine Zusammenarbeit mit Projektträgern, Evaluierungsdienstleistern und Forschungseinrichtungen angestrebt.

Im Beitrag werden Inhalte, Erfassung und Auswertungsmöglichkeiten im Monitoring-Tool dargestellt und mittels kleiner Demo-Videos veranschaulicht.

Evaluationen können verschiedenen Zwecken dienen, etwa dem Lernen und Nachsteuern während der Programmlaufzeit oder der Rechenschaftslegung gegenüber Geldgebern. Mitunter soll ein Evaluationsprojekt mehrere solcher Anforderungen gleichzeitig erfüllen. Dies stellt Evaluator:innen vor die Frage, welchem Zweck welche Aufmerksamkeit und welche Ressourcen zu widmen sind, um einerseits Evaluationsstandards einhalten und andererseits die Erwartungen verschiedener Seiten erfüllen zu können.

Wie lässt sich vor diesem Hintergrund eine Evaluation gestalten, wenn das zu untersuchende (Forschungs-)Projekt iterativ angelegt ist und dessen Ziele erst weit nach Ende der Laufzeit erreicht werden können? Der Vortrag schildert die Herausforderungen am Beispiel der internen Evaluation eines Verbundforschungsprojekts, an dem neun außeruniversitäre Forschungseinrichtungen sowie drei Hochschulen in Deutschland beteiligt sind (https://www.nachhaltig-forschen.de/lena-shape-2021-2023/projektbeschreibung/). Die Aufgaben der Evaluation, insbesondere in methodischer Hinsicht, sind im vorgestellten Beispiel nicht klar definiert. Der Evaluationszeitraum entspricht der Projektlaufzeit. Da das Forschungsprojekt selbst iterativ angelegt ist und einen Beitrag zu einer nachhaltigen Entwicklung anstrebt, wurde der Evaluationsansatz der Developmental bzw. Blue Marble Evaluation von Michael Quinn Patton gewählt. Der Vortrag skizziert die Rahmenbedingungen der Evaluation und diskutiert die Frage, wie in einem dynamischen Umfeld valide Daten erhoben und eine akzeptierte Steuerung erreicht werden können.

Die Förderung von emergenten Programmen und Maßnahmen in den Bereichen Demokratieförderung, Extremismusprävention und Vielfaltgestaltung erfolgt oftmals in Erprobungssettings, in denen Evaluierenden die Aufgabe zukommt, Prozesse der Umsetzung kritisch zu begleiten und handlungsrelevantes Steuerungswissen für die Projektumsetzenden sowie für Politik und Verwaltung zu erzeugen. Zur Absicherung und Legitimierung von (politischen) Entscheidungen sollen Evaluationen durch Evidenz abgesichertes Wissen über Wirkungen und Wirkmechanismen liefern. Komplexe Prozesse sollen dabei klar, verständlich und transparent erfasst, in ihrer Komplexität reduziert und bewertet werden. Zugleich divergieren bisweilen Vorstellungen über die Kriterien von Evidenz und angemessenen Vorgehensweisen zur Erzeugung von schlüssigen Erkenntnissen. Für Evaluierende stellen sich Fragen danach, wie die prozesshafte Entstehung von Wirkungen gegenstandsangemessen empirisch erfasst, analysiert sowie bewertet und kommuniziert werden kann.

Der Vortrag stellt das Konzept der Resonanz zur Untersuchung von Wirkungen anhand der Evaluation des komplexen und dynamischen Bundesprogramms „Demokratie leben!“ vor. Aufgrund seines emergenten Charakters können in diesem Programm Wirkungspfade über mehrere Ebenen nur umsetzungsbegleitend und in ihrem koproduktiven Entstehungsprozess untersucht werden. In Resonanzuntersuchungen zu geförderten Maßnahmen stehen dabei die Beziehungen zwischen Akteuren (Individuen/Organisationen) sowie Artefakten und die in bzw. aus diesen resonanten Beziehungen entstehenden wechselseitigen Einwirkungen und Veränderungen im Zentrum des Interesses. Der Mehrwert eines solchen Zugangs besteht u. E. darin, dass wechselseitige „Rückwirkungsprozesse“ in der Interaktion der Akteurinnen/Akteure und die Frage der Kontingenz von Ursache-Wirkungs-Beziehungen systematisch und in ihrer Prozesshaftigkeit in den Blick kommen, was vereinfachte Kausalitätsmodellierungen gegenwärtig kaum leisten können (vgl. Heinze/König/Reiter/Schroeter 2021). Anhand konkreter empirischer Untersuchungen zeigt der Vortrag, dass die empirische Rekonstruktion von Resonanzen zu einem vertieften Verständnis von Wirkmechanismen führt. Zugleich gibt er Einblicke in methodische Umsetzungen von Resonanzerhebungen sowie das Spektrum von möglichen Befunden und verweist auf Potenziale und Spannungsfelder in Anforderungen und Verwertungskontexten von Wissenschaft, Evaluationspraxis und Politik.

Wie lassen sich komplexe Interventionsrealitäten in einer Evaluierung methodisch erfassen? In der Realität ist es meist unwahrscheinlich, dass eine Intervention alleine die Ursache für eine beobachtete Wirkung ist. Vielmehr gibt es oft mehrere Faktoren, die potenziell in Frage kommen. Die Kontributionsanalyse als theoriebasierte Evaluierungsmethode eignet sich in solchen Fällen besonders gut, um den Beitrag einer Intervention zu einem (übergeordneten) Ziel ex-post zu identifizieren und zu evaluieren und dabei verschiedene andere Faktoren zu berücksichtigen.

Bisher wird die Kontributionsanalyse wenig in Evaluierungen eingesetzt, dabei hat die Methode insbesondere für Fragen zu Effektivität und Impact in komplexen Evaluierungen großes Potenzial. Als kontextsensible Methode kann sie dazu beitragen die Frage zu beantworten, wie und unter welchen Umständen bestimmte Wirkungen eingetreten beziehungsweise ausgeblieben sind. Mittels übergeordneter contribution stories und darin enthaltenen contribution claims können Interventionen holistisch gedacht und systematisch bearbeitet werden.

Vor diesem Hintergrund hat der Einzelvortrag zwei Ziele: Erstens, den methodischen Mehrwert und die Herausforderungen der Kontributionsanalyse anhand eines Anwendungsbeispiels zu reflektieren und zu diskutieren. Zweitens, Erfahrungen bei der Anwendung der Methode und in der Kommunikation mit Stakeholdern aus Politik und Praxis zu teilen. Während eine Beteiligung der Stakeholder im Evaluierungsprozess und bei der Anwendung der Kontributionsanalyse eine Grundlage für eine erhöhte Akzeptanz für Evaluierungsergebnisse schaffen kann, zeigten sich in der Praxis gleichzeitig Herausforderungen bei der Vermittlung der Methode wie der Ergebnisse. Dies betraf unter anderem Einschätzungen zur Validität von Daten.

Als Anwendungsbeispiel des Vortrages dient dabei die Evaluierung „Die Förderung nachhaltiger Lieferketten durch die deutsche Entwicklungszusammenarbeit am Beispiel des Textilsektors“ des Deutschen Evaluierungsinstitutes der Entwicklungszusammenarbeit (DEval). Das Evaluierungsteam hat die Methodik der Kontributionsanalyse im Rahmen von Fallstudien genutzt, um den Beitrag der deutschen Entwicklungszusammenarbeit zur Reduzierung von Menschenrechtsverletzungen und Umweltschäden in Bangladesch sowie zu einer verbesserten Wahrnehmung unternehmerischer Sorgfaltspflichten in Deutschland zu untersuchen.

Im Rahmen des Qualitätspakt Lehre Projektes „Starker Start ins Studium“ wurden an der Goethe-Universität vier Fachzentren zur Unterstützung der Strukturen in Studium und Lehre gegründet. Eines davon ist das Methodenzentrum Sozialwissenschaften, das Fachbereiche bei der Verbesserung der Methodenlehre unterstützen und curriculare sowie außercurriculare Angebote für die Studierenden bereitzustellen. Durch eine Ausweitung des Lehrangebots, individuelle Beratung und Workshops sollen die Zufriedenheit der Studierenden sowie ihre Kompetenzen erhöht werden. Im Rahmen der Verstetigung der Strukturen stellt sich nun die Frage, ob zentral eingeführte Maßnahmen Einfluss auf die individuellen Lernergebnisse der Studierenden haben und wie ein solcher Einfluss überhaupt gemessen werden könnte.

Das Methodenzentrum evaluiert alle zwei Jahre die Angebote durch die Studierenden und erfasst dabei auch eine Selbsteinschätzung der Kompetenzen. Befragt werden die Studierenden der wirtschafts- und sozialwissenschaftlichen Fachbereich, insgesamt ca. 13.500 Personen. Über den Verlauf der Zeit können dadurch verschiedene Aussagen zu den Einflüssen der Angebote des Zentrums sowie deren Bekanntheit und Wahrnehmung durch die Studierenden getroffen werden. Dabei stellt sich die Frage, welche Entwicklungen tatsächlich auf die Arbeit des Zentrums zurückzuführen sind und welche anderen Einflüsse in der Hochschule ebenfalls als Grund für Veränderungen angenommen werden könnten.

Der Beitrag beschäftigt sich mit den Ergebnissen der aktuellen Evaluation aus dem Jahr 2023 sowie mit der Frage nach einer Daseinsberechtigung des Zentrums, die mit diesen Daten vor Entscheidungsträgern gerechtfertigt werden könnten. Dabei liegt der Fokus auf der Selbsteinschätzung der Studierenden bezüglich Methodenkompetenzen, die sowohl im Verlauf über die Zeit als auch für verschiedene Subgruppen der Studierenden betrachtet werden kann. Die Ergebnisse geben Hinweise darauf, welche Angebote Studierende zur Methodenausbildung als besonders wertvoll erachten und wie sie selbst ihre Kompetenzen einschätzen. Allgegenwärtig sind dabei die Fragen, inwieweit die Angebote wie gewünscht zu einer Verbesserung der Studienbedingungen im Methodenbereich beitragen und die Angebote die verschiedenen Zielgruppen gleichermaßen fördern. So ist eine Differenzierung der Einflüsse nach Fach, Studienfortschritt oder Herkunft möglich und zeigt Auswirkungen auf die individuellen Lernfortschritte der verschiedenen Studierendengruppen.

Im Nachgang der COVID-19-Pandemie wurden an der ETH Zürich trotz Rückkehr zum Präsenzunterricht die meisten Lehrveranstaltungen (LV) so angepasst, dass die Studierenden die freie Wahl hatten, ob sie die Vorlesungen vor Ort oder online besuchen wollten. Zusätzlich waren in vielen Lehrveranstaltungen Vorlesungsaufzeichnungen verfügbar. Studierende nutzen das Angebot der Vielfältigkeit und Dozierende bemerkten einen Rückgang der Anzahl Studierender im Hörsaal, der für einige beunruhigend war. Die dauerhafte Nichtanwesenheit eingeschriebener Studierender, welche die Lehrveranstaltung absolvieren, jedoch so gut wie nie für Dozierende sichtbar werden, führt zu einem gefühlten Kommunikationsabbruch und zu einer Unsichtbarkeit eines grösseren Teils der Studierenden als bisher. Bei einigen Dozierenden wurde die Forderung laut, die ETH müsse die klare Botschaft senden, dass die Anwesenheit entscheidend sei für das Lernen und den Erfolg in der Prüfung. Im Rahmen der Prüfungsevaluation im Sommer 2022 wurden mehr als 17.000 Antworten von Studierenden zu den Themen Art des LV-Teilnahme, Lernverhalten, Interesse an der Lehrveranstaltung, Wahrnehmung der Prüfung und Empfehlungen für zukünftige Studierende gesammelt. Darüber hinaus wurden Freitextaussagen analysiert und die Prüfungsnoten der Studierenden erfasst. Wir fanden nur geringe Unterschiede in Bezug auf die Prüfungsleistungen zwischen den verschiedenen Arten der LV-Teilnahme. Es gibt jedoch Hinweise darauf, dass die Leistungsunterschiede bei interaktiven Kursen stärker ausfallen können. Gleichzeitig ermöglichten die gesammelten Daten die statistische Überprüfung eines häufig diskutierten Stichprobenbias der studentischen Beurteilungen. Die Ergebnisse der Analysen leisten einen Beitrag zur Beantwortung der Frage, warum an vielen Universitäten die Anwesenheit in Präsenzveranstaltungen mit der Verfügbarkeit neuer, virtueller Präsenzformen stärker als erwartet abgenommen hat und welche Auswirkungen dies auf die studentische Lehrveranstaltungsbeurteilung haben kann.

In Hochschulen wird die Lehre normalerweise durch Studierende mit einem Fragebogen unmittelbar nach Abschluss einer Lehrveranstaltung evaluiert. Dabei bleibt unberücksichtigt, inwieweit diese erste Bewertung eine Momentaufnahme ist und mit der späteren Anwendung zusammenhängt. Die vorliegende Arbeit untersucht diese Lücke in Anlehnung an das 4-Ebenen-Modell von Kirkpatrick (Kirkpatrick, 1959a, 1959b, 1960a, 1960b, 2006), in dem Daten zur Ebene 1 "Reaktion" (direkt am Ende des Kurses) mit Daten der Ebene 3 "Verhalten" (einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen in der Praxis angewendet haben) in Beziehung gesetzt werden.

Es wurde eine Studie mit ca. 800 Teilnehmenden an Kursen für Prüfungsexpertinnen und -experten in der Berufsbildung durchgeführt. Unmittelbar am Ende des Kurses (t1) füllten sie einen Fragebogen aus mit Fragen zu den Dozierenden, zum Inhalt des Kurses, zum subjektiv erlebten Lernerfolg sowie zur Gesamtzufriedenheit mit dem Kurs. Einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen in der Praxis angewandt haben, füllten sie einen zweiten Fragebogen aus, in dem sie rückblickend ihre Gesamtzufriedenheit mit dem Kurs (t2) sowie ihre Sicherheit in der Anwendung des Gelernten einschätzten (t2).

Das Strukturgleichungsmodell (CFI = .96, RMSEA = .056 (.049-.064), SRMR = .041) zeigt folgendes. Die Zufriedenheit unmittelbar am Ende des Kurses (t1) hat einen – nicht sehr starken – Zusammenhang mit der Zufriedenheit (t2) einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen angewendet haben. Die Zufriedenheit (t1) wird durch die Qualität der Dozierenden, den subjektiv erlebten Lernerfolg und insbesondere die im Kurs gelernten Inhalte erklärt. Die Zufriedenheit (t2) wird nur noch durch die im Kurs behandelten Inhalte erklärt, Einschätzungen zu den Dozierenden oder zum Lernerfolg spielen keine Rolle mehr. Die Sicherheit in der Anwendung des Gelernten (t2) wird nur durch den wahrgenommenen Lernerfolg (t1) erklärt.

Die Ergebnisse zeigen grosse Unterschiede im Erklärungswert von Lehrevaluationsdaten direkt am Ende des Kurses vs. mehrere Monate später, nach Anwendung des Gelernten in der Praxis: Wenn die längerfristige Zufriedenheit im Fokus steht, sollte nach den Kursinhalten gefragt werden (und nicht z.B. nach der Qualität der Dozierenden), wenn die Sicherheit in der Anwendung des Gelernten interessiert, sollte hingegen nach dem Lernerfolg gefragt werden.

Die deutsche Entwicklungszusammenarbeit (EZ) gliedert sich auf operativer Ebene in Projekte bzw. Module der technischen und finanziellen Zusammenarbeit, die wiederum auf strategischer Ebene in EZ-Programmen sektoral und regional gebündelt sind. EZ-Programme sind der Rahmen, in dem Module beauftragt werden, um gemeinsame Wirkungen im Schwerpunkt zu entfalten. Damit soll sichergestellt werden, dass die einzelnen Module aufeinander abgestimmt agieren und auf ein gemeinsames Ziel hin ausgerichtet sind. Während mit Zentralen Projektevaluierungen (GIZ) und Ex-post-Evaluierungen (KfW) auf der operativen Ebene bereits seit geraumer Zeit ein ausgereiftes Instrumentarium zur Erfolgsprüfung zur Verfügung steht, fehlte bislang auf der strategischen (Programm-)Ebene ein entsprechendes Format.

Im Zuge des Reformprozesses BMZ 2030 soll nun diese Lücke im Evaluierungssystem der deutschen EZ geschlossen werden. Hierfür wurden in einem ersten Schritt zwei Pilot-EZ-Programmevaluierungen (EZPE) beauftragt, im Rahmen derer Erfahrungen gesammelt und Methoden entwickelt werden sollten, die in ein anschließend entwickeltes Evaluierungsformat münden. Eine dieser beiden Pilot-EZPE wurde im Auftrag der GIZ vom CEval durchgeführt. Gegenstand der Evaluierung war ein Programm im Schwerpunkt Nachhaltige Wirtschaftsentwicklung zur Förderung von Jugendbeschäftigung und Beruflicher Bildung in Kenia, bestehend aus insgesamt 13 TZ- und sieben FZ-Modulen und einem Gesamtvolumen von mehr als 200 Mio. Euro.

Der hier eingereichte Einzelvortrag beschäftigt sich mit der Konzeption und Umsetzung der Pilot-Evaluierung in Kenia, mit besonderem Fokus auf das Evaluierungsdesign, dessen Methodik, den Datenzugängen sowie der notwendigen Eingrenzung des Evaluierungsgegenstands und den damit verbundenen Herausforderungen. Es wird gezeigt, welche Instrumente und Verfahren sich zur Evaluierung von Programmen eignen und worauf bei ihrer Anwendung in Anbetracht der ungleich größeren Systemkomplexität als bei Modul-Evaluierungen geachtet werden muss. Schließlich werden die Lessons Learnt für zukünftige EZPE diskutiert.

Mit Blick auf das Tagungsthema zielt der Beitrag auf die Frage ab, wie es im Spannungsfeld der unterschiedlichen Handlungslogiken von Wissenschaft, Praxis und Politik gelingen kann, valide Erkenntnisse für eine evidenzbasierte Steuerung zu generieren und dabei eine gute Balance zwischen den Anforderungen an die Beteiligten und der Einhaltung wissenschaftlicher Mindeststandards zu schaffen.

Für die Evaluation bzw. Erfolgskontrolle der Effekte von Technologieprogrammen in Bezug auf zentrale Zielfelder der Förderung, insbesondere Wissenstransfer und der Verstetigung von Kooperationen, bestehen substantielle Hürden. Gründe hierfür sind z.B. das Fehlen von belastbaren Daten oder das Spannungsfeld von zeitnaher Evaluation und zeitlicher Realisierung längerfristiger Effekte.

In unserem Beitrag adressieren wir diese Problematik, indem wir Kooperationen anhand von Publikationsnetzwerken analysieren. Hierzu nutzen wir externen Daten der Publikationsdatenbank Scopus. Diese können ressourcenarm erhoben werden, lassen eine langfristige Betrachtung zu und schließen auch programmexterne Kooperationen ein. Ganz konkret untersuchen wir Kollaborationsnetzwerke von Zuwendungsempfängern vor, während und nach dem Ende einer Förderperiode. Kennzahlen zu kollaborativen Publikationen bieten hierbei ein objektiveres Maß für Kooperation als Selbstberichte. Unterschiede in Publikationsnetzwerken demonstrieren welche Akteure als wichtige Wissensträger in die Fachöffentlichkeit dienen können. Außerdem können Änderungen in den Publikationsnetzwerken über die Zeit zeigen, ob Förderpartner auch nach Ende des Förderprogramms weiter zusammenarbeiten (Verstetigung) und ob im Anschluss an die Förderung eine erhöhte Produktion von Fachartikeln erkennbar ist (Wissenstransfer).

Der methodische Ansatz wird beispielhaft an einem im Jahr 2015 abgeschlossenen Technologieprogramm demonstriert, indem wir auf Basis der wissenschaftlichen Publikationen im Zeitraum 2010-2022 Kollaborationsnetzwerke der geförderten Organisationen erstellen. Im Vortrag werden die Ergebnisse dieser Analyse präsentiert und potentielle Hindernisse und Limitationen diskutiert. Unsere Ergebnisse gehen über die bisherige Verwendung der Netzwerkanalyse in Evaluationen hinaus, indem ein Fokus auf Kollaborationen von Programm-internen und -externen Akteuren unter Nutzung einer objektiveren Datenbasis gelegt wird. Die Ergebnisse können für eine ex-post Evaluierung der langfristigen Auswirkungen des Förderprogramms auf Wissenstransfer und Kooperation genutzt werden. Die Erkenntnisse können zudem für ähnlich strukturierte laufende Förderprogramme als Benchmark zur Bewertung der entstehenden Publikationsnetzwerke und der längerfristigen Effekte des Förderprogramms dienen, um auf valider Datenbasis politische Entscheidungsprozesse zu informieren.

Akademische Ausgründungen haben erhebliche wirtschaftliche Auswirkungen, weshalb öffentliche Förderprogramme für Startups als wichtiger Bestandteil der Innovations- und Technologiepolitik angesehen werden. In diesem Zusammenhang können auch Unterstützungsprogramme für Hochschulen ein wichtiger Bestandteil des politischen Instrumentariums sein, da sie darauf abzielen, das Umfeld für Unternehmensgründungen an Hochschulen zu verbessern und somit die Gründungstätigkeit an diesen Einrichtungen zu stimulieren. Die Bewertung der Wirksamkeit dieser Programme ist relevant, da eine Evidenzbasis für Entscheidungsträger geliefert und der Diskurs über die Förderung der Gründungskultur an Hochschulen erweitert wird.

Der Vortrag berichtet über den Hintergrund, die Methodik und die Ergebnisse der Evaluation von ‚EXIST – Potentiale heben‘, ein Förderprogramm für Hochschulen im akademischen Gründungsbereich in Deutschland. Diese vom Bundesministerium für Wirtschaft und Klimaschutz finanzierte Fördermaßnahme ist Teil der Programmfamilie ‚EXIST – Potentiale‘ und unterstützt Universitäten und (Fach-)Hochschulen, die bislang wenig Erfahrung im Aufbau einer Gründungskultur und gründungsunterstützender Strukturen haben. Von 2020 bis 2024 werden 88 Universitäten und (Fach-)Hochschulen mit über 110 Millionen € gefördert.

Die Wirksamkeit des Programms wird anhand von Outcome-Indikatoren aus den Bereichen ‚eingereichte Anträge für Gründungsförderprogramme‘ und ‚erhaltene Zuschüsse aus Gründungsförderprogrammen‘ überprüft. In diesem Bereich werden Effekte erwartet, da die Beratung und Unterstützung bei der Einwerbung öffentlicher Fördermittel für angehende Gründer(innen) eine zentrale Aufgabe der geförderten Hochschulen ist. Konkret werden die Anzahl der Anträge der geförderten Einrichtungen in Deutschlands größtem Gründungsförderprogramm – dem ‚EXIST-Gründerstipendium‘ (EGS) – und die erfolgreiche Akquise von Fördermitteln im EGS herangezogen. Auf Basis eines zeitreihenbasierten Vergleichsgruppendesigns in Kombination mit einem Differenz-in-Differenzen-Ansatz werden die Effekte der Fördermaßnahme methodisch robust geschätzt. Die Ergebnisse zeigen, dass sich die Förderung durch ‚EXIST – Potentiale heben‘ positiv auf die Aktivitäten der Hochschulen im Bereich der Gründungsförderung auswirkt.

Die wissenschaftliche Güte empirischer Evidenzen ist ein wesentlicher Faktor für die Akzeptanz evidenzbasierter Steuerung. Faktisch schränken begrenzte Ressourcen wissenschaftlich fundierte Vorgehensweisen oftmals ein und real-pragmatische Zugänge werden gewählt. Was im Allgemeinen bei Evaluationen gilt, lässt sich auf Bereiche der Hochschulsteuerung übertragen, gestützt auf den Evaluationsprozess der Lehre.

Häufig relativieren Lehrende kritische Ergebnisse der Lehrveranstaltungsevaluation wegen tatsächlicher oder vermuteter mangelhafter Aussagekraft. Neben Zweifel an der Messvalidität wird in Gesprächen am häufigsten (und oft zu Recht) geringe Repräsentativität als Kritikpunkt genannt. Hier greift das Problem der begrenzten Ressourcen: Es wäre leicht, durch aufwändigere Methodik (z.B. Paper-Pencil-Erhebung) Rücklaufquoten zu steigern oder Non-Response Verhalten nachzugehen Der notwendige Mehraufwand führt aber an den meisten Hochschulen zu alternativen, günstigeren Ansätzen, welche einen rein auf Effizienz fokussierten Prozess zu Grunde haben.

Wie viele Hochschulen, setzt die FH Campus Wien mittlerweile bei der Lehrevaluation In-Class-Evaluierungen (ICE) ein, um die Vorteile von Paper-Pencil und Online-Erhebungen zu verbinden. Ein damit verbundener Anstieg der Rücklaufquoten war zwar feststellbar, blieb aber weit hinter den Erwartungen, weil der neue Ansatz in vielen dafür vorgesehenen Lehrveranstaltungen überhaupt nicht umgesetzt wurde. Als Reaktion wurde im Wintersemester 22/23 ein neuer Prozess aufgesetzt: Fixe Termine für die Durchführung der ICE werden mit den Lehrenden abgestimmt, Erinnerungsmails automatisch versandt und Studiengangsleitungen erhalten eine automatisierte Mail mit Rücklaufinformationen, um zu sehen, ob die Durchführung stattfand. Im Sommersemester soll dieser neue Prozess evaluiert werden, begleitet von der Frage der Steuerungsmöglichkeiten und -ebenen (Vortragende, Studiengangsleitung, Hochschulleitung). Diese Prozessevaluation soll den Grundstein für eine Wirkungsevaluation legen, welche sich vor allem in Bezug auf Steuerung mit folgenden Fragen befassen muss:

Führt nur ein „mehr“ an Rücklauf automatisch zu einem validen Bild der Lehrveranstaltungsqualität? Wie steht es um „Freiwilligkeit“ zur Teilnahme an der LV-Evaluierung? Was muss ich als Hochschule messen, um von validen Daten zu einer akzeptierten Steuerung zu kommen?