Veranstaltungsprogramm

Inhalt der Session

In dieser Session widmen wir uns der Rolle generativer KI in Evaluationen aus verschiedenen Perspektiven und beleuchten in zwei Vorträgen sowohl methodische als auch systemische Implikationen für die Evaluationspraxis.

Der erste Vortrag untersucht den Einsatz generativer KI in der qualitativen Datenanalyse. Im Rahmen einer Evaluationssynthese wird die Qualitätskontrolle von Evaluierungsberichten durch menschliche Analysen mit denen zweier KI-Tools verglichen, um die Transparenz, Vergleichbarkeit und Reproduzierbarkeit der Ergebnisse zu bewerten. Hierbei wird ein iteratives Verfahren vorgestellt, das auf der Erstellung und Anpassung von Prompts basiert und darauf abzielt, Effizienz und Genauigkeit von Evaluierungsprozessen und -ergebnissen zu verbessern.

Der zweite Vortrag betrachtet die Auswirkungen generativer KI auf das Evaluationssystem der Forschungs- und Innovationspolitik in Österreich. Dabei wird das Evaluationssystem als ein Netzwerk von einander bekannten Akteur:innen betrachtet, das sich durch die Einführung von KI-Technologien verändert. Im Fokus stehen die sich wandelnden Beziehungen zwischen Auftraggebenden, Auftragnehmenden, Evaluator:innen und Evaluationsobjekten sowie konstruktive Adaptionsmöglichkeiten an das Eintreten generativer KI in das Evaluationssystem.

Gemeinsam bieten diese Vorträge Einblicke in die Potenziale und Herausforderungen der Integration von KI in die Evaluationspraxis und regen zur Reflexion über die zukünftige Gestaltung von Evaluationssystemen an.

 

Reihenfolge und Beitragstitel

1) Julia Forke, Lennart Raetzell, Tobias Polak, Kai Rompczyk: KI vs. Mensch: Qualitätskontrolle von qualitativen Daten neu gedacht

2) Felix Gaisbauer, Isabella E. Wagner, Thomas Palfinger: Welche Auswirkungen hat generative Künstliche Intelligenz auf ein Evaluationssystem? Überlegungen am Beispiel der Forschungs- und Innovationspolitikevaluierung in Österreich