Ziele des Seminars\nDas Seminar gibt einen orientierenden Überblick über zentrale Formen und Formate quantitativer Evaluation und macht deren jeweilige Stärken und Einsatzbereiche sichtbar. Im Zentrum steht die Fähigkeit, quantitative Zugänge in ihrer Logik zu verstehen, gegenstandsangemessen auszuwählen und im eigenen Forschungs- bzw. Evaluationskontext anzuwenden. Die Teilnehmenden sollen am Ende einschätzen können, wann und wofür sich welches quantitative Format eignet – und wie sie sich entsprechende Verfahren und Werkzeuge selbstständig erschließen.\nEin besonderes Augenmerk liegt neben dem Aufbau von Orientierungswissen auf der praktischen Umsetzung: Welche Tools stehen für Erhebung und Auswertung zur Verfügung, und wie lassen sie sich zielgenau einsetzen?  Welche Rolel spielen statistische Vorkenntnisse? In diesem Zuge gehen wir zudem gezielt auf den Einsatz von Large Language Models (LLMs) ein. Diese eröffnen neue Möglichkeiten der Datenauswertung und stellen klassische Paradigmengrenzen zwischen qualitativer und quantitativer Evaluation in Frage. Chancen sowie Grenzen dieses Zugangs werden dabei kritisch diskutiert und exploriert.\nZielgruppe des Seminars\nDas Seminar richtet sich an Personen aus der qualitativen Evaluationsforschung, die über wenig bis keine praktische Erfahrung in der quantitativer Evaluationsforschung verfügen. Angesprochen sind insbesondere Forschende und Praktiker:innen, die ihr methodisches Evaluationsrepertoire um quantitative Zugänge erweitern möchten.\nKompetenzfelder, die im Wesentlichen behandelt werden\n\nEvaluieren professionalisieren / Evaluationsspezifische Grundkenntnisse\nEmpirische Methoden anwenden / Forschungsmethodische Kompetenzen\n\nInhalt, Ablauf und Form sowie Dokumentation des Workshops\nInhalt\nIm Mittelpunkt stehen vier Themenfelder:\n\nGrundverständnis quantitativer Evaluation: Logik, Gütekriterien und Abgrenzung zu qualitativen Zugängen.\nZentrale quantitative Evaluationsformate und ihre Stärken – u. a. standardisierte Befragung, Skalen- und Indexbildung, Prä-Post- und (quasi-)experimentelle Designs etc.\nPraktische Umsetzung: Werkzeuge für Erhebung (z. B. SoSci Survey) und Auswertung (z. B. R, Excel, SPSS) sowie Strategien, sich diese eigenständig zu erschließen.\nLLMs in der Evaluation als Experimentiertfeld.\n\nAblauf\nDas Seminar ist zweiteilig angelegt und folgt durchgängig dem Werkstattprinzip. Die konkrete Ausgestaltung der einzelnen Bausteine wird an die Vorerfahrungen und Interessen der Gruppe angepasst.\nErste Sitzung 23.09.26 (Präsenz, 12:30–15:30 Uhr): Nach einer kurzen Verortung und einem Überblicksimpuls zu Formaten und Werkzeugen werden ausgewählte Zugänge gemeinsam im Plenum vorgestellt, erprobt und diskutiert.\nSelbstlernphase (ca. zwei Wochen): Die Teilnehmenden entwickeln das Konzept einer eigenen, gegenstandsangemessenen quantitativen Evaluation aus ihrem jeweiligen Feld, das etablierte quantitative Evaluationsverfahren mit einem LLM-gestützten experimentellen Element verbindet.\nZweite Sitzung 07.10.26 (Online via Zoom, 10 bis 11 Uhr): Die erarbeiteten Konzepte werden vorgestellt und im Sinne kollegialer Beratung gemeinsam diskutiert und kommentiert.\nDokumentation\nDie Teilnehmenden erhalten den Foliensatz sowie ein Handout mit Tool- und Literaturhinweisen zum eigenständigen Weiterarbeiten. Die in der Selbstlernphase erstellten Evaluationskonzepte und die zentralen Ergebnisse der gemeinsamen Diskussion werden gesichert und im Anschluss auf freiwilliger Basis bereitgestellt.

Ziele des Seminars\nIn diesem Seminar lernen Sie, wie Sie mit wenigen Formeln und etwas Kreativität aus einer einfachen Excel-Tabelle Ihr eigenes Monitoring-Tool erstellen können.\nZielgruppe des SeminarsDieses Seminar richtet sich an M&E-Kolleg:innen, die Excel bisher eher als notwendiges Übel denn als hilfreiches Werkzeug erlebt haben – und die noch kein eigenes Monitoring-Tool in Excel gebaut haben. Mitbringen sollten Sie ein Notebook und etwas Neugier; alles andere lernen wir gemeinsam.Wer bereits sicher mit SVERWEIS, Pivot-Tabellen oder verknüpften Tabellenblättern arbeitet, ist hier vermutlich unterfordert.\nKompetenzfelder, die im Wesentlichen behandelt werden\n\nEvaluationen planen und steuern / Kompetenzen für das Management von Evaluationsprojekten\n\nInhalt, Ablauf und Form sowie Dokumentation des Workshops\nInhalte\n• Excel als Werkzeug für Monitoring: Unterschied zwischen Excel und einer Datenbank• Grundelemente eines Monitoring-Tools in Excel und wie man sie aufbaut• Grundprinzipien guter Datenverwaltung (auch im Team)• Praktischer Einblick: aus einer einfachen Tabelle ein funktionierendes Monitoring-Tool machen\nAblauf\nKurzimpulse zu den Grundlagen, ergänzt durch eine praktische Übung in Kleingruppen an einer Beispieldatei sowie Raum für Fragen und Austausch.\nDokumentation\n• Beispiel-Excel-Monitoringtools zum Mitnehmen• Kurze Formelsammlung• Foliensatz als PDF• Workbook als PDF

Ziele des Seminars\nDie Teilnehmenden…\n\nschärfen ihr Bewusstsein für die Wertungsproblematik in Evaluationen und verstehen, warum viele Evaluationen nicht explizit oder auf unklarer Grundlage bewerten;\nwissen, was es für ein begründbares Werturteil braucht, und kennen die „Logik der Evaluation“ mit ihren vier elementaren Bestandteilen;\nkennen Methoden und Verfahren, um je nach Kontext angemessene Kriterien und Vergleichsstandards zu bestimmen und mehrere Kriterien in einem Werturteil zu kombinieren;\nverstehen die Rolle verschiedener Beteiligtengruppen und den Zusammenhang mit Werkzeugen wie Wirkungsmodellen oder LogFrame\nerkennen die Probleme einer unreflektierten Übernahme von Erfolgskriterien z.B. aus den Programmzielen oder generischen Kriteriensystemen wie z.B. OECD-DAC\nkönnen in spezifischen Fällen und eigenen Evaluationskontexten bewusster mit der Wertungsfrage umgehen;\nwissen, inwiefern Anwendungen Künstlicher Intelligenz in diesem Zusammenhang eine Unterstützung darstellen können.\n\nZielgruppe des Seminars:\nEvaluationsinteressierte aller Erfahrungsstufen, die ihren Umgang mit der Wertungsfrage in Evaluationen schärfen wollen. Keine speziellen Vorerfahrungen erforderlich.\nInhalt, Ablauf und Form sowie Dokumentation des Workshops \nInhalte\nEvaluation bedeutet systematisches Bewerten. Trotzdem fällen viele Evaluationen kein explizites Werturteil wie „gut“, „nicht erfolgreich“ oder „verbesserungswürdig“, oder lassen unklar, wie genau sie zu solchen Wertaussagen kommen. Beispiele finden sich in den unterschiedlichsten Evaluationskontexten.\nSo lassen etwa viele Lehrevaluationen die Lehrenden mit der Frage, ob z.B. ein rückgemeldeter Mittelwert nun „gut“ oder „ausreichend“ ist, allein. In anderen Fällen werden zwar wertende Urteile in der Berichterstattung ausgesprochen, es bleibt aber unklar, wie es von den qualitativen oder quantitativen Ergebnissen zur Bewertung im Rahmen von Interpretation (z.B. „besonders erfolgreich war…“) und Empfehlungen (z.B. „verbesserungswürdig ist …“) kam. Ein weiterer Fall sind Vergleichsgruppendesigns, in denen die Bewertung an statistische Auswertungsverfahren wie Signifikanztest oder Effektstärkemaße delegiert werden, ohne zu hinterfragen, ob die entsprechenden Kennwerte eine Bewertung z.B. als „erfolgreich“ überhaupt begründen können. Zuletzt sind Fälle zu nennen, in denen generische Kriteriensysteme wie etwa die des OECD-DAC mechanisch zur Anwendung gebracht werden, ohne eine bewusste und kontextangemessene Auswahl oder Anpassung zu treffen.\nDer Workshop rückt daher das Bewerten als Wesenskern des Evaluierens in den Vordergrund und will zu einem bewussteren und begründeteren Umgang mit der Wertungsfrage beitragen. Unter Bezug auf das allgemeine Spannungsfeld zwischen empirischer Erkenntnis und normativer Setzung (vgl. Werturteilsstreit) behandeln wir als theoretischen Bezugspunkt die Logik der Evaluation (Scriven/Fournier) mit ihren vier Kernelementen Kriterien, Vergleichsstandards, Messung und Synthese. Wir wenden diese zur Analyse unterschiedlicher Fallbeispiele an und lernen Methoden zur begründeten Bestimmung von Kriterien und Vergleichsstandards sowie zur Synthese in einem Gesamturteil kennen. Dabei stellen wir den Zusammenhang zu wichtigen Werkzeugen wie Wirkungsmodellen oder Logical Frameworks, generischen Kriteriensystemen wie z. B. OECD-DAC sowie mit unterschiedlichen Evaluationsdesigns (z.B. qualitativ oder experimentell) her.\nAufgezeigt wird insgesamt, wie Bewertungen transparent und begründbar werden obwohl sie letztlich immer von normativen Setzungen abhängen. Wichtig ist aber auch die Erkenntnis, dass nicht jede Evaluation zwingend explizite Bewertungen aussprechen muss, um ihre Zwecke zu erfüllen, und dass es durchaus legitim sein kann, Vergleichsstandards erst nachträglich festzulegen. Auch hier braucht es aber einen bewussten Umgang und eine begründbare Entscheidungsheuristik. Sie wird ebenso Thema sein, wie die Frage, an welchen Stellen uns KI-Chatbots beim Umgang mit der Bewertung unterstützen können und dürfen.\nAblauf\n\nProblemaufriss: Evaluationen, die nicht explizit oder auf unklarer Grundlage bewerten (Fallbeispiele und -analyse)\nLogik der Evaluation nach Scriven/Fournier (Input und Übung)\nKriterien, Vergleichsstandards und Synthese in konkreten Evaluationsszenarien (Fallarbeit in Kleingruppen)\nArten von Kriterien und Arten von Vergleichsstandards (Input)\nMethoden zur Bestimmung und Begründung von Kriterien, Vergleichsstandards und zur Synthese in einem Gesamturteil wie z.B. grading/ranking rubrics oder generische Kriteriensysteme (Demonstration und Übung)\nMuss jede Evaluation ein Werturteil aussprechen und wann darf man Vergleichsstandards nachträglich festlegen? (strukturierte Diskussion)\nKI-Chatbots als Unterstützungsinstrument bei verschiedenen Teilaufgaben (Demonstration)\nAnwendung auf den eigenen Anwendungskontext (Transferübung und Abschlussdiskussion)\n\nDokumentation\nPräsentationsfolien, Handouts, Fotodokumentation