Für die Evaluation bzw. Erfolgskontrolle der Effekte von Technologieprogrammen in Bezug auf zentrale Zielfelder der Förderung, insbesondere Wissenstransfer und der Verstetigung von Kooperationen, bestehen substantielle Hürden. Gründe hierfür sind z.B. das Fehlen von belastbaren Daten oder das Spannungsfeld von zeitnaher Evaluation und zeitlicher Realisierung längerfristiger Effekte.

In unserem Beitrag adressieren wir diese Problematik, indem wir Kooperationen anhand von Publikationsnetzwerken analysieren. Hierzu nutzen wir externen Daten der Publikationsdatenbank Scopus. Diese können ressourcenarm erhoben werden, lassen eine langfristige Betrachtung zu und schließen auch programmexterne Kooperationen ein. Ganz konkret untersuchen wir Kollaborationsnetzwerke von Zuwendungsempfängern vor, während und nach dem Ende einer Förderperiode. Kennzahlen zu kollaborativen Publikationen bieten hierbei ein objektiveres Maß für Kooperation als Selbstberichte. Unterschiede in Publikationsnetzwerken demonstrieren welche Akteure als wichtige Wissensträger in die Fachöffentlichkeit dienen können. Außerdem können Änderungen in den Publikationsnetzwerken über die Zeit zeigen, ob Förderpartner auch nach Ende des Förderprogramms weiter zusammenarbeiten (Verstetigung) und ob im Anschluss an die Förderung eine erhöhte Produktion von Fachartikeln erkennbar ist (Wissenstransfer).

Der methodische Ansatz wird beispielhaft an einem im Jahr 2015 abgeschlossenen Technologieprogramm demonstriert, indem wir auf Basis der wissenschaftlichen Publikationen im Zeitraum 2010-2022 Kollaborationsnetzwerke der geförderten Organisationen erstellen. Im Vortrag werden die Ergebnisse dieser Analyse präsentiert und potentielle Hindernisse und Limitationen diskutiert. Unsere Ergebnisse gehen über die bisherige Verwendung der Netzwerkanalyse in Evaluationen hinaus, indem ein Fokus auf Kollaborationen von Programm-internen und -externen Akteuren unter Nutzung einer objektiveren Datenbasis gelegt wird. Die Ergebnisse können für eine ex-post Evaluierung der langfristigen Auswirkungen des Förderprogramms auf Wissenstransfer und Kooperation genutzt werden. Die Erkenntnisse können zudem für ähnlich strukturierte laufende Förderprogramme als Benchmark zur Bewertung der entstehenden Publikationsnetzwerke und der längerfristigen Effekte des Förderprogramms dienen, um auf valider Datenbasis politische Entscheidungsprozesse zu informieren.

Akademische Ausgründungen haben erhebliche wirtschaftliche Auswirkungen, weshalb öffentliche Förderprogramme für Startups als wichtiger Bestandteil der Innovations- und Technologiepolitik angesehen werden. In diesem Zusammenhang können auch Unterstützungsprogramme für Hochschulen ein wichtiger Bestandteil des politischen Instrumentariums sein, da sie darauf abzielen, das Umfeld für Unternehmensgründungen an Hochschulen zu verbessern und somit die Gründungstätigkeit an diesen Einrichtungen zu stimulieren. Die Bewertung der Wirksamkeit dieser Programme ist relevant, da eine Evidenzbasis für Entscheidungsträger geliefert und der Diskurs über die Förderung der Gründungskultur an Hochschulen erweitert wird.

Der Vortrag berichtet über den Hintergrund, die Methodik und die Ergebnisse der Evaluation von ‚EXIST – Potentiale heben‘, ein Förderprogramm für Hochschulen im akademischen Gründungsbereich in Deutschland. Diese vom Bundesministerium für Wirtschaft und Klimaschutz finanzierte Fördermaßnahme ist Teil der Programmfamilie ‚EXIST – Potentiale‘ und unterstützt Universitäten und (Fach-)Hochschulen, die bislang wenig Erfahrung im Aufbau einer Gründungskultur und gründungsunterstützender Strukturen haben. Von 2020 bis 2024 werden 88 Universitäten und (Fach-)Hochschulen mit über 110 Millionen € gefördert.

Die Wirksamkeit des Programms wird anhand von Outcome-Indikatoren aus den Bereichen ‚eingereichte Anträge für Gründungsförderprogramme‘ und ‚erhaltene Zuschüsse aus Gründungsförderprogrammen‘ überprüft. In diesem Bereich werden Effekte erwartet, da die Beratung und Unterstützung bei der Einwerbung öffentlicher Fördermittel für angehende Gründer(innen) eine zentrale Aufgabe der geförderten Hochschulen ist. Konkret werden die Anzahl der Anträge der geförderten Einrichtungen in Deutschlands größtem Gründungsförderprogramm – dem ‚EXIST-Gründerstipendium‘ (EGS) – und die erfolgreiche Akquise von Fördermitteln im EGS herangezogen. Auf Basis eines zeitreihenbasierten Vergleichsgruppendesigns in Kombination mit einem Differenz-in-Differenzen-Ansatz werden die Effekte der Fördermaßnahme methodisch robust geschätzt. Die Ergebnisse zeigen, dass sich die Förderung durch ‚EXIST – Potentiale heben‘ positiv auf die Aktivitäten der Hochschulen im Bereich der Gründungsförderung auswirkt.

Die wissenschaftliche Güte empirischer Evidenzen ist ein wesentlicher Faktor für die Akzeptanz evidenzbasierter Steuerung. Faktisch schränken begrenzte Ressourcen wissenschaftlich fundierte Vorgehensweisen oftmals ein und real-pragmatische Zugänge werden gewählt. Was im Allgemeinen bei Evaluationen gilt, lässt sich auf Bereiche der Hochschulsteuerung übertragen, gestützt auf den Evaluationsprozess der Lehre.

Häufig relativieren Lehrende kritische Ergebnisse der Lehrveranstaltungsevaluation wegen tatsächlicher oder vermuteter mangelhafter Aussagekraft. Neben Zweifel an der Messvalidität wird in Gesprächen am häufigsten (und oft zu Recht) geringe Repräsentativität als Kritikpunkt genannt. Hier greift das Problem der begrenzten Ressourcen: Es wäre leicht, durch aufwändigere Methodik (z.B. Paper-Pencil-Erhebung) Rücklaufquoten zu steigern oder Non-Response Verhalten nachzugehen Der notwendige Mehraufwand führt aber an den meisten Hochschulen zu alternativen, günstigeren Ansätzen, welche einen rein auf Effizienz fokussierten Prozess zu Grunde haben.

Wie viele Hochschulen, setzt die FH Campus Wien mittlerweile bei der Lehrevaluation In-Class-Evaluierungen (ICE) ein, um die Vorteile von Paper-Pencil und Online-Erhebungen zu verbinden. Ein damit verbundener Anstieg der Rücklaufquoten war zwar feststellbar, blieb aber weit hinter den Erwartungen, weil der neue Ansatz in vielen dafür vorgesehenen Lehrveranstaltungen überhaupt nicht umgesetzt wurde. Als Reaktion wurde im Wintersemester 22/23 ein neuer Prozess aufgesetzt: Fixe Termine für die Durchführung der ICE werden mit den Lehrenden abgestimmt, Erinnerungsmails automatisch versandt und Studiengangsleitungen erhalten eine automatisierte Mail mit Rücklaufinformationen, um zu sehen, ob die Durchführung stattfand. Im Sommersemester soll dieser neue Prozess evaluiert werden, begleitet von der Frage der Steuerungsmöglichkeiten und -ebenen (Vortragende, Studiengangsleitung, Hochschulleitung). Diese Prozessevaluation soll den Grundstein für eine Wirkungsevaluation legen, welche sich vor allem in Bezug auf Steuerung mit folgenden Fragen befassen muss:

Führt nur ein „mehr“ an Rücklauf automatisch zu einem validen Bild der Lehrveranstaltungsqualität? Wie steht es um „Freiwilligkeit“ zur Teilnahme an der LV-Evaluierung? Was muss ich als Hochschule messen, um von validen Daten zu einer akzeptierten Steuerung zu kommen?