Hier finden Sie eine Übersicht über unser Tagungsprogramm. Eingefärbt dargestellt sind englischsprachige Sessions (gelb) bzw. Sessions mit einzelnen englischsprachigen Beiträgen (hellgelb). Alle nicht farbig dargestellten Sessions sind deutschsprachig, auch bei englischsprachiger Übersetzung des Sessiontitels in der übersetzten Programmübersicht.
C4: Künstliche Intelligenz in der Evaluation: Wie positioniert sich die Fachcommunity?
Zeit:
Freitag, 19.09.2025:
9:00 - 10:30
Leitung der Sitzung: Jan Hense, -/-
Session des AK Professionalisierung
Präsentationen
Künstliche Intelligenz in der Evaluation: Wie positioniert sich die Fachcommunity?
Chair(s): Funk Evelyn (PME-Campus), Jan Hense (Selbstständiger Evaluationsberater)
Vortragende: Jan Hense (Selbstständiger Evaluationsberater, Gießen), Funk Evelyn (PME-Campus, Frechen), Udo Kelle (DeGEval-Vorstand/HSU Hamburg), Heinze Franziska (AK Methoden/BTU Cottbus), Felix Gaisbauer (DLR Projektträger, Berlin), Olaf Kleist (DeZIM, Berlin), Susanne Friese (Queludra, Nieuwerkerk aan den IJssel)
Künstliche Intelligenz (KI) ist derzeit eines der am häufigsten diskutierten Themen in Praxis und Theorie der Evaluation. Ein Blick in die Literatur und einschlägige Communities zeigt, dass Anwendungen von KI sich nicht alleine auf die Datenauswertung beschränken, sondern sich auf den gesamten Lebenszyklus von Evaluationen erstrecken können. Dabei stehen der Erwartung von Effizienzgewinnen und qualitätssteigernden Potenzialen mögliche Risiken hinsichtlich der Genauigkeit, Fairness, Durchführbarkeit und nicht zuletzt Nützlichkeit von Evaluationen gegenüber.
So sind im Feld bereits vielfach gut durchdachte Anwendungen von KI dokumentiert. Auf der anderen Seite besteht aber die Gefahr, dass die Risiken und Konsequenzen des KI-Einsatzes trivialisiert werden. Beispielsweise finden sich bereits fragwürdige Angebote, die suggerieren, es wäre mittels KI bedenkenlos möglich, Daten automatisiert auswerten zu lassen oder Evaluationen insgesamt weitgehend zu automatisieren.
Als Innovation stellt KI daher Fachcommunity und Fachverbände vor die Frage, welche Haltung sie gegenüber KI einnehmen sollten und inwiefern es dabei eine fachliche Orientierung und Positionierung benötigt. Bezogen auf Organisationen stellt sich diese Frage besonders im Kontext der Institutionalisierung und Professionalisierung von Evaluation, wie sie Thema der Tagung ist.
In der Session soll daher diskutiert werden, welche Haltung wir als Fachcommunity allgemein und konkret die Gesellschaft für Evaluation (DeGEval) als Fachgesellschaft gegenüber dieser Frage einnehmen sollten. Als inhaltlicher Orientierungspunkt dient dazu eine Vorlage mit Eckpunkten für ein mögliches Empfehlungspapier, die von den Organisierenden der Session auf Basis einer Expertise von Hense (2025) entworfen wurde. Diese Vorlage wird spätestens 10 Tage vor Tagungsbeginn auf den Seiten des AK Professionalisierung der DeGEval zur Verfügung gestellt (https://www.degeval.org/arbeitskreise/professionalisierung/aktuelles/
Im Einzelnen sollen vor allem folgende Fragen diskutiert werden:
Welche Art von Orientierung braucht die Praxis? Geht es um Empfehlungen, Leitlinien, Standards zur Selbstverpflichtung oder gar konkrete Handlungsanweisungen? Oder genügt es vielleicht, ausschließlich aus Perspektive der Standards für Evaluation zu argumentieren und auf deren Berücksichtigung zu insistieren?
Unterscheiden sich bei diesen Fragen die Perspektiven aus Sicht von Evaluierenden, Auftraggebenden und weiteren Stakeholdergruppen?
Welche der zur Diskussion gestellten Eckpunkte eines möglichen Empfehlungspapiers wären vor diesem Hintergrund konsensfähig und inwiefern müssten diese ggf. modifiziert oder ergänzt werden?
Diese Fragen sollen mit einem Panel, in dem verschiedene Evaluationsperspektiven vertreten sind, sowie in einer interaktiven Gruppenphase mit den Teilnehmenden diskutiert werden.
Die zur Diskussion gestellten Eckpunkte eines möglichen Empfehlungspapiers sollen unter Berücksichtigung der Ergebnisse der Session von den Initiierenden der Session überarbeitet und dem DeGEval-Vorstand vorgelegt werden, um eine Adaption des Vorschlags z.B. als Positionspapier zu prüfen.
Folgender Ablauf ist geplant:
Thematische Einführung
Kurze Statements der Panel-Teilnehmenden aus verschiedenen Evaluationsperspektiven anhand von Leitfragen
Rückfragen/Statements aus dem Plenum
Vorstellung der Eckpunkte eines möglichen Empfehlungspapiers
Diskussion in Gruppen mit Votum zu wesentlichen Leitfragen (World Cafe, Thesen-Galerie oder ähnliche Methode)
Sammlung der Gruppenergebnisse im Plenum
Kommentierung und Abschlussstatements der Panel-Teilnehmenden
Jan Hense (Berater für Wirkungsorientierung, Interventionsdesign und Evaluation, Gießen) – Thematische Einführung und Vorstellung der Diskussionsvorlage
Udo Kelle (DeGEval-Vorstand/Universität der Bundeswehr, Hamburg) – Perspektive des DeGEval-Vorstands/Wissenschaft
Felix Gaisbauer (DLR Projektträger, Berlin) – Perspektive Auftraggebende/Stakeholder
Olaf Kleist (DeZIM, Berlin) – Organisationale Perspektive Evaluationspraxis und -forschung
Franziska Heinze (AK Methoden/Brandenburgische Technische Universität Cottbus) – Perspektive Methoden in der Evaluation
