Ziele des Seminars

Das Seminar gibt einen orientierenden Überblick über zentrale Formen und Formate quantitativer Evaluation und macht deren jeweilige Stärken und Einsatzbereiche sichtbar. Im Zentrum steht die Fähigkeit, quantitative Zugänge in ihrer Logik zu verstehen, gegenstandsangemessen auszuwählen und im eigenen Forschungs- bzw. Evaluationskontext anzuwenden. Die Teilnehmenden sollen am Ende einschätzen können, wann und wofür sich welches quantitative Format eignet – und wie sie sich entsprechende Verfahren und Werkzeuge selbstständig erschließen.

Ein besonderes Augenmerk liegt neben dem Aufbau von Orientierungswissen auf der praktischen Umsetzung: Welche Tools stehen für Erhebung und Auswertung zur Verfügung, und wie lassen sie sich zielgenau einsetzen?  Welche Rolel spielen statistische Vorkenntnisse? In diesem Zuge gehen wir zudem gezielt auf den Einsatz von Large Language Models (LLMs) ein. Diese eröffnen neue Möglichkeiten der Datenauswertung und stellen klassische Paradigmengrenzen zwischen qualitativer und quantitativer Evaluation in Frage. Chancen sowie Grenzen dieses Zugangs werden dabei kritisch diskutiert und exploriert.

Zielgruppe des Seminars

Das Seminar richtet sich an Personen aus der qualitativen Evaluationsforschung, die über wenig bis keine praktische Erfahrung in der quantitativer Evaluationsforschung verfügen. Angesprochen sind insbesondere Forschende und Praktiker:innen, die ihr methodisches Evaluationsrepertoire um quantitative Zugänge erweitern möchten.

Kompetenzfelder, die im Wesentlichen behandelt werden

• Evaluieren professionalisieren / Evaluationsspezifische Grundkenntnisse
• Empirische Methoden anwenden / Forschungsmethodische Kompetenzen

Inhalt, Ablauf und Form sowie Dokumentation des Workshops

Inhalt

Im Mittelpunkt stehen vier Themenfelder:

• Grundverständnis quantitativer Evaluation: Logik, Gütekriterien und Abgrenzung zu qualitativen Zugängen.
• Zentrale quantitative Evaluationsformate und ihre Stärken – u. a. standardisierte Befragung, Skalen- und Indexbildung, Prä-Post- und (quasi-)experimentelle Designs etc.
• Praktische Umsetzung: Werkzeuge für Erhebung (z. B. SoSci Survey) und Auswertung (z. B. R, Excel, SPSS) sowie Strategien, sich diese eigenständig zu erschließen.
• LLMs in der Evaluation als Experimentiertfeld.

Ablauf

Das Seminar ist zweiteilig angelegt und folgt durchgängig dem Werkstattprinzip. Die konkrete Ausgestaltung der einzelnen Bausteine wird an die Vorerfahrungen und Interessen der Gruppe angepasst.

Erste Sitzung 23.09.26 (Präsenz, 12:30–15:30 Uhr): Nach einer kurzen Verortung und einem Überblicksimpuls zu Formaten und Werkzeugen werden ausgewählte Zugänge gemeinsam im Plenum vorgestellt, erprobt und diskutiert.

Selbstlernphase (ca. zwei Wochen): Die Teilnehmenden entwickeln das Konzept einer eigenen, gegenstandsangemessenen quantitativen Evaluation aus ihrem jeweiligen Feld, das etablierte quantitative Evaluationsverfahren mit einem LLM-gestützten experimentellen Element verbindet.

Zweite Sitzung 07.10.26 (Online via Zoom, 10 bis 11 Uhr): Die erarbeiteten Konzepte werden vorgestellt und im Sinne kollegialer Beratung gemeinsam diskutiert und kommentiert.

Dokumentation

Die Teilnehmenden erhalten den Foliensatz sowie ein Handout mit Tool- und Literaturhinweisen zum eigenständigen Weiterarbeiten. Die in der Selbstlernphase erstellten Evaluationskonzepte und die zentralen Ergebnisse der gemeinsamen Diskussion werden gesichert und im Anschluss auf freiwilliger Basis bereitgestellt.