Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
B5: Die Frage nach dem Wie – spezielle methodische Ansätze
Zeit:
Donnerstag, 16.09.2021:
16:30 - 18:00

Leitung der Sitzung: Peter Kaufmann, KMU Forschung Austria

Zusammenfassung der Sitzung

In dieser Session werden drei spezifische methodische Ansätze in der Evaluation von FTI Programmen vorgestellt und diskutiert.

Im ersten Beitrag entwickelten Linda Zollitsch, Nicolaus Wilder und Julia Priess-Buchheit den P2I Fragebogen als ein vierstufiges, quantitatives Instrument für die Evaluation von Lerneinheiten zur Forschungsintegrität, um die wahrgenommene Lücke bei standardisierten Tests für dieses Anwendungsfeld zu schließen.

Im zweiten Beitrag stellen sich Christina Schuh, Sonja Fringes, Daniel Schwertfeger und Harald Kania die Frage, wie man Experimentierräume evaluiert. Dabei geht es sowohl um das übergeordnete Evaluationsdesign, sowie die Abwägung von summativen und formativen Ansätzen zur Ausgestaltung von iterativen und erfolgsoffenen Lernprozessen. Eine Umsetzung wird anhand der Evaluation der BMAS-Förderrichtlinie "Zukunftsfähige Unternehmen und Verwaltungen im digitalen Wandel" dargestellt.

Marianne Kulicke rundet die Präsentationen mit ihrem Beitrag zu einer explorativen Delphi-Befragung im Kontext einer End-of-Programmevaluation ab, in der verstärkt auch ein ex-ante Aspekt zur Weiterentwicklung des Förderprogramms aufgenommen wurde. Sie berichtet über die vorgefundenen Herausforderungen und Lösungen und möchte mit den Teilnehmenden in der Sitzung diese diskutieren.

Schlag- und Stichworte: Forschungs-, Technologie- und Innovationspolitik (AK), Verwaltung (AK),  Wirtschaft (AK), Programmtheorie und Wirkmodelle, Experimentierräume, Quantitative Methoden,  Sonstiger Evaluationskontext oder -gegenstand, Vier-Stufen Test, Forschungsintegrität, Qualitative Methoden, Delphi-Befragung, Ex-ante-Betrachtung


Präsentationen

Der P2I Fragebogen zur Evaluation von Forschungsintegrität

Linda Zollitsch1, Nicolaus Wilder1, Julia Priess-Buchheit2

1Christian-Albrechts-Universität zu Kiel, Deutschland; 2Hochschule für angewandte Wissenschaften Coburg, Deutschland

Das Thema Forschungsintegrität mit dem Ziel, einen gesellschaftlichen Wandel herbeizuführen, hat im europäischen Kontext in den letzten Jahren stark an Bedeutung gewonnen. Es gibt immer mehr Programme, die darauf abzielen, (angehenden) Wissenschaftler_innen das Thema zu vermitteln. Gleichzeitig gibt es aber nur wenig empirische Daten über die Wirksamkeit solcher Programme. Die Evaluationen, die bisher in diesem Bereich durchgeführt wurden, bedienen sich überwiegend vielfältiger qualitativer Methoden, was eine Vergleichbarkeit der unterschiedlichen Programme im Hinblick auf deren Wirksamkeit stark erschwert. Ein standardisierter Test, der spezifisch für den Gegenstandsbereich Forschungsintegrität entwickelt wurde, fehlt gegenwärtig.

Die standardisierten Tests, die bisher in dem Bereich eingesetzt werden stammen daher meist aus dem benachbarten Bereich der moralischen beziehungsweise ethischen Bildung und befassen sich häufig mit Entscheidungen in Dilemma-Situationen. Dies trifft jedoch nicht den Kern von Forschungsintegrität, da es hier häufig eher um verschiedene Anreize geht, die zu einer Entscheidung führen, sowie um die Orientierung an wissenschaftlichen Standards. Um diese Lücke zu schließen, ist der P2I Fragebogen als quantitatives Instrument für die Evaluation von Lerneinheiten zur Forschungsintegrität entwickelt worden und als vierstufiger Test konzipiert. Der Test basiert auf den Inhaltsbereichen des Europäischen Verhaltenskodex für Integrität in der Forschung und zeigt die Entscheidungs- sowie die Begründungsmuster der Testteilnehmenden auf. Außerdem wird die Sicherheit, mit der die Testteilnehmenden die Entscheidung sowie die Begründung getroffen haben anhand einer Skala abgebildet. Insbesondere die Begründung zu einer zuvor getroffenen Entscheidung stellt einen Vorteil gegenüber klassischen Multiple-Choice Tests dar. Die Begründungen zu den Entscheidungen sind bei der Entwicklung des P2I Fragebogens in den Fokus genommen worden, da diese einen Hinweis darauf liefern, mit welchen stabilen (un)wissenschaftlichen Überzeugungen wissenschaftliches Handeln begründet wird. Der P2I Fragebogen soll einen Diskurs über standardisierte Instrumente im Bereich der Forschungsintegrität eröffnen und als ein Schritt in Richtung einer evidenzbasierten Verbesserung von Programmen zur Forschungsintegrität verstanden werden.



Wie evaluiere ich einen Experimentierraum?

Christina Schuh, Sonja Fringes, Daniel Schwertfeger, Harald Kania

HS Bund, Deutschland

Agile Formen des Projektmanagements, die in der Softwareentwicklung entwickelt und erprobt wurden[1], lassen sich mittlerweile auch in der Förderpraxis in unterschiedlichen Politikbereichen finden. „Experimentierräume“ werden nicht nur in der Forschungsförderung ausgeschrieben (vgl. neue Förderstrategie der Volkswagenstiftung[2] und Website Bundesministerium für Bildung und Forschung[3]), sondern auch vom Bundesministerium für Arbeit und Soziales[4] (BMAS). Hauptmerkmale von Experimentierräumen bestehen darin, dass das geförderte Projekt nicht als geradliniger, sondern vielmehr als iterativer und ausdrücklich ergebnisoffener Prozess verstanden wird, bei dem das Ausprobieren im Mittelpunkt steht und ein „Scheitern“ erlaubt ist. Daraus ergeben sich auch für die Evaluationslogik neue Herausforderungen, die Gegenstand des Vortrags sein sollen.

Ging Evaluation bisher von einer linearen Förderung aus, in der es gilt eine Indikatorik für Input – Output – Outcome und Impact zu definieren, zu erheben und auszuwerten, gilt es nun zu diskutieren, wie iterative und erfolgsoffene Lernprozesse abgebildet werden können.

Folgende Fragen stehen dabei im Fokus:

- Welche Konsequenzen ergeben sich für das Verhältnis von formativen versus summativen Evaluationsansätzen?

- Wie können Evaluationsdesigns gestaltet werden, die gleichermaßen offen für intendierte und nicht-intendierte Effekte sind?

- Inwiefern ändert sich die Bedeutung von qualitativen Methoden im Vergleich zu quantitativen Methoden?

Zunächst wird ein Überblick zu Aufgaben und Zusammenspiel der einzelnen Akteure*innen der BMAS-Förderrichtlinie "Zukunftsfähige Unternehmen und Verwaltungen im digitalen Wandel" gegeben. Im Anschluss werden aus der Perspektive der Gesamtevaluation erste Antworten und Ergebnisse auf die aufgeworfenen Fragen vorgestellt.

[1] Kuster, Jürg (2018). Handbuch Projektmanagement. Wiesbaden: Springer.

[2] https://www.volkswagenstiftung.de/unsere-foerderung/die-neue-foerderstrategie-der-volkswagenstiftung

[3] https://www.go-bio.de/de/experimentierraeume-1703.html

[4] https://www.experimentierraeume.de/start



Antizipation des Wandels - Beiträge einer explorativen Delphi-Befragung zur programmatischen Weiterentwicklung eines Förderprogramms

Marianne Kulicke

Fraunhofer Institut für System- und Innovationsforschung, Deutschland

Evaluationen von FTI-Programmen haben einen Fokus auf Interims- und Ex-Post-Analysen zur Fördertätigkeit (Zielerreichung, Wirkungen, Wirtschaftlichkeit, Empfehlungen) und dienen gegen Ende des Förderzeitraums komplexer Forschungsschwerpunkte i.d.R. zu einer programmatischen Neuausrichtung. Hierzu beauftragen Fördergeber zunehmend Elemente einer Ex-ante-Evaluierung ihrer konzeptionellen Überlegungen gemeinsam mit Ex-Post-Analysen. Denn die Rückschau liefert keine ausreichenden Erkenntnisse, um künftige Entwicklungen mit hoher Veränderungsdynamik zu antizipieren. Vielmehr besteht der Anspruch, mögliche Pfade des technologischen Wandels und Forschungsbedarfe zu identifizieren, Zukunftsszenarien zu entwerfen und Förderadressaten frühzeitig einzubinden.

Der Vortrag zeigt, wie in einer aktuellen Evaluation diese Anforderungen eingelöst wurden -durch Adaption des weit verbreiteten Delphi-Ansatzes als Teil einer rückschauenden Bewertung eines umfangreichen Förderprogramms. Zwei grundlegende Herausforderungen bestanden: (1) Die Generierung eines Pools an Expert*innen mit vertiefter Expertise - generell bei Delphi-Befragungen ein großes methodisches Problem. Sie müssen in den für die programmatische Weiterentwicklung wichtigen Feldern notwendige Kenntnisse aufweisen. Die frühzeitige Planung zur Zusammenstellung des Personenkreises und Maßnahmen für eine Mitwirkung ermöglichen einen Multi-Perspektiven-Ansatz. (2) Die Ableitung von Hypothesen, zu denen die Einschätzung der Expert:innen abgefragt wird. Zur Weiterentwicklung eines bestehenden Forschungsschwerpunktes gibt es meist bereits Überlegungen und laufende Schritte der Programmerarbeitung beim Fördergeber, mit denen eine Delphi-Befragung verzahnt sein muss bzw. auf denen sie bauen kann.

Im Beispiel konnten die Teilnehmenden in Runde 1 mögliche Herausforderungen in 6 Themenfeldern der zukünftigen Fördertätigkeit kommentieren und ergänzen, dazu Forschungsbedarfe in Wissenschaft, Wirtschaft und sonstigen Bereichen sowie konkrete Forschungsfragen skizzieren. Zu den aufbereiteten Ergebnissen der Runde 1 war in Runde 2 Feedback und vertiefende Ergänzungen möglich. So entstand eine große Vielfalt an Erkenntnissen, welche Forschungsthemen in einzelnen Förderlinien und kommenden Förderbekanntmachungen Berücksichtigung finden sollen (Programminhalte bis „Agendasetting“).