Programme zur Förderung von Innovation werden häufig auf Grundlage zentraler Gelingensbedingungen von Lern- und Transformationsprozessen konzipiert, so auch das hier untersuchte Programm. Da sich deren Wirkungen jedoch meist über längere Zeiträume entfalten, stellt sich für Evaluationen die Herausforderung, solche Gelingensbedingungen über die Zeit hinweg zu erfassen.

Der Beitrag untersucht diese Herausforderung anhand der begleitenden Evaluation des BMFTR-geförderten Programms Trans-Nation Co-Creation (TNCC). Innovationsakteur:innen, insbesondere aus Start-ups sowie kleinen und mittleren Unternehmen, wurden über ein Jahr hinweg im Rahmen eines transnationalen Programms begleitet. Ziel war es, Impulse aus internationalen Innovationsökosystemen, insbesondere dem Silicon Valley, aufzunehmen und in die eigenen Organisationen zu übertragen.

Aufbauend auf Innovations- und Organisationsforschung wurden zentrale Gelingensbedingungen für Innovation identifiziert: innovationsfördernde Organisationskultur, partizipativer Innovationsprozess, intersektorale Schnittstellen sowie institutionelle Rahmenbedingungen. Diese Annahmen wurden in einem multimethodischen Längsschnittdesign mit formativen und summativen Elementen überprüft. Dabei kamen Prä-Post-Befragungen (N = 16), qualitative Entry- und Abschlussinterviews (N = 43) und Dokumentenanalysen aus 22 Veranstaltungen zum Einsatz, darunter interaktive Workshops, digitale Praxiswerkstätten und Symposien im Silicon Valley.

Die Ergebnisse zeigen am Fall von TNCC, dass Programme zur Förderung von Innovation zunächst auf der Ebene von Kompetenzen, Netzwerken und Innovationsmindsets wirken, während intersektorale Schnittstellen und institutionelle Rahmenbedingungen längerfristige strukturelle Voraussetzungen benötigen. Teilnehmende entwickelten sich zu Multiplikator:innen („Trans-Nation Ambassadors“), die Innovationsimpulse in ihre Organisationen tragen. Explorativ zeigen sich Relevanz und Kompetenzzuwächse von Futures Literacy und künstlicher Intelligenz im Innovationshandeln.

Der Beitrag diskutiert, wie multimethodische Evaluation auch bei kleinen Stichproben zeitliche Dynamiken der Gelingensbedingungen von Lern- und Innovationsprozessen sichtbar machen kann und welche Implikationen sich daraus für die Evaluation von Transformations- und Innovationsprogrammen ergeben.

In Zeiten multipler Krisen und Ressourcenknappheit stehen nichtkommerzielle Organisationen vor der Herausforderung, ihre Zukunftsfähigkeit jenseits klassischer monetärer Kennzahlen nachzuweisen. Das vom BMFTR geförderte Projekt am Zentrum für angewandte Pastoralforschung (zap) der Ruhr-Universität Bochum adressiert dieses Desiderat durch die Entwicklung eines „Wirkungsmodells der Vitalität (religiöser) Gemeinschaften“. Vitalität wird hierbei als ein multidimensionales Konstrukt verstanden, das die organisationale Überlebens- und Gestaltungsfähigkeit in vier zentralen Faktoren abbildet.

Der Beitrag fokussiert die methodische Umsetzung einer prospektiven, formativen Evaluation. Im Rahmen einer großangelegten Panel-Befragung wurden Entscheidungstragende religiöser Organisationen zu zwei Messzeitpunkten befragt. Ziel der Untersuchung ist es, den prädiktiven Wert organisationaler Ressourcen zum Zeitpunkt t0​ für die tatsächliche Ausprägung der Vitalität zum Zeitpunkt t1​ (ca. ein Jahr später) statistisch zu prüfen.

Methodisch wird hierbei ein zweistufiges Verfahren angewendet: (2) Zur Identifikation und Validierung der komplexen Faktorenstruktur wird ein Exploratory Structural Equation Modeling (ESEM) eingesetzt. Dieser Ansatz erlaubt es, die wechselseitigen Abhängigkeiten der Vitalitätsdimensionen präziser abzubilden als klassische konfirmatorische Verfahren; (2) Die Längsschnittanalyse erfolgt über ein Latentes Strukturgleichungsmodell (SEM). Ein besonderer Fokus liegt auf der methodischen Herausforderung, Pfadanalysen auch dann valide durchzuführen, wenn aufgrund der Evaluationspraxis im Feld keine vollständig identischen Item-Sets über die Zeitpunkte hinweg vorliegen.

Abschließend wird der Transfer der Forschungsergebnisse in die Praxis diskutiert: Die Transformation des validierten Modells in ein digitales Steuerungstool. Dieses Instrument ermöglicht es Organisationen, evidenzbasiert „Hebel“ für die eigene Entwicklung zu identifizieren und Veränderungsprozesse im Sinne einer begleitenden Evaluation langfristig zu monitoren.

Klassische Lehrevaluationen im Medizinstudium erfassen überwiegend Zufriedenheitsurteile von Studierenden zu einem einzelnen Zeitpunkt und enthalten viele vom Lernerfolg unabhängige Variablen. Damit erlauben sie nur begrenzt Aussagen über tatsächlich erreichte Lernveränderungen im zeitlichen Verlauf, sodass Fragen nach der Wirksamkeit von Lehrveranstaltungen offen bleiben. Besonders in der klinischen Lehre sowie bei digitalen und hybriden Lehrformaten stellt dies eine Herausforderung für evidenzbasierte Qualitätsentwicklung dar.

Das Projekt Qualitätsmanagement für medizinische Lehre 2.0 verfolgt das Ziel, eine lernzielbasierte Evaluationslogik zu entwickeln, die zeitliche Dimensionen systematisch berücksichtigt. Im Zentrum steht die Verknüpfung von Lernzielen, Lernerfolgsmessung und Lehrevaluation in einem kontinuierlichen Qualitätsmanagementprozess.

In Workshops wurden gemeinsam mit Lehrenden Lernziele für klinische Lehrveranstaltungen entwickelt und am Nationalen Kompetenzbasierten Lernzielkatalog Medizin ausgerichtet. Der Lernerfolg wird mittels eines validierten prädiktionsbasierten Verfahrens anhand vergleichender Selbsteinschätzungen vor und nach der Lehrveranstaltung erfasst. Dadurch können Lernveränderungen über die Zeit abgebildet und Lehrwirkungen differenziert analysiert werden. Parallel wurden bestehende Evaluationsinstrumente um Qualitätsdimensionen digitaler und hybrider Lehrformate erweitert.

Die lernzielbasierte Evaluation wurde in klinischen Blockpraktika und weiteren Lehrveranstaltungen über mehrere Semester implementiert. Erste psychometrische Analysen zeigen eine hohe interne Konsistenz und stabile faktorielle Strukturen. Die Ergebnisse weisen zudem systematische Unterschiede zwischen Präsenzlehre und digitalen Anteilen auf. Durch die Kombination von Lernerfolgs- und Evaluationsdaten können differenzierte Rückmeldungen an Lehrende generiert und in einen kontinuierlichen PDCA-basierten Qualitätsmanagementzyklus integriert werden.

Der Beitrag zeigt, wie Evaluation als zeitlich integriertes (Weiter-)Entwicklungsinstrument fungieren kann. Evaluation dient damit nicht nur der retrospektiven Beschreibung von Lehrqualität, sondern unterstützt prospektive Entscheidungen in curricularen Prozessen. Der Ansatz verdeutlicht, wie zeitliche Perspektiven, z.B. Lernveränderungen, longitudinale Datennutzung und kontinuierliche Rückkopplung in Steuerungsprozesse, für eine praxisnahe und methodisch fundierte Evaluation nutzbar gemacht werden können.