Im Rahmen des Qualitätspakt Lehre Projektes „Starker Start ins Studium“ wurden an der Goethe-Universität vier Fachzentren zur Unterstützung der Strukturen in Studium und Lehre gegründet. Eines davon ist das Methodenzentrum Sozialwissenschaften, das Fachbereiche bei der Verbesserung der Methodenlehre unterstützen und curriculare sowie außercurriculare Angebote für die Studierenden bereitzustellen. Durch eine Ausweitung des Lehrangebots, individuelle Beratung und Workshops sollen die Zufriedenheit der Studierenden sowie ihre Kompetenzen erhöht werden. Im Rahmen der Verstetigung der Strukturen stellt sich nun die Frage, ob zentral eingeführte Maßnahmen Einfluss auf die individuellen Lernergebnisse der Studierenden haben und wie ein solcher Einfluss überhaupt gemessen werden könnte.

Das Methodenzentrum evaluiert alle zwei Jahre die Angebote durch die Studierenden und erfasst dabei auch eine Selbsteinschätzung der Kompetenzen. Befragt werden die Studierenden der wirtschafts- und sozialwissenschaftlichen Fachbereich, insgesamt ca. 13.500 Personen. Über den Verlauf der Zeit können dadurch verschiedene Aussagen zu den Einflüssen der Angebote des Zentrums sowie deren Bekanntheit und Wahrnehmung durch die Studierenden getroffen werden. Dabei stellt sich die Frage, welche Entwicklungen tatsächlich auf die Arbeit des Zentrums zurückzuführen sind und welche anderen Einflüsse in der Hochschule ebenfalls als Grund für Veränderungen angenommen werden könnten.

Der Beitrag beschäftigt sich mit den Ergebnissen der aktuellen Evaluation aus dem Jahr 2023 sowie mit der Frage nach einer Daseinsberechtigung des Zentrums, die mit diesen Daten vor Entscheidungsträgern gerechtfertigt werden könnten. Dabei liegt der Fokus auf der Selbsteinschätzung der Studierenden bezüglich Methodenkompetenzen, die sowohl im Verlauf über die Zeit als auch für verschiedene Subgruppen der Studierenden betrachtet werden kann. Die Ergebnisse geben Hinweise darauf, welche Angebote Studierende zur Methodenausbildung als besonders wertvoll erachten und wie sie selbst ihre Kompetenzen einschätzen. Allgegenwärtig sind dabei die Fragen, inwieweit die Angebote wie gewünscht zu einer Verbesserung der Studienbedingungen im Methodenbereich beitragen und die Angebote die verschiedenen Zielgruppen gleichermaßen fördern. So ist eine Differenzierung der Einflüsse nach Fach, Studienfortschritt oder Herkunft möglich und zeigt Auswirkungen auf die individuellen Lernfortschritte der verschiedenen Studierendengruppen.

Im Nachgang der COVID-19-Pandemie wurden an der ETH Zürich trotz Rückkehr zum Präsenzunterricht die meisten Lehrveranstaltungen (LV) so angepasst, dass die Studierenden die freie Wahl hatten, ob sie die Vorlesungen vor Ort oder online besuchen wollten. Zusätzlich waren in vielen Lehrveranstaltungen Vorlesungsaufzeichnungen verfügbar. Studierende nutzen das Angebot der Vielfältigkeit und Dozierende bemerkten einen Rückgang der Anzahl Studierender im Hörsaal, der für einige beunruhigend war. Die dauerhafte Nichtanwesenheit eingeschriebener Studierender, welche die Lehrveranstaltung absolvieren, jedoch so gut wie nie für Dozierende sichtbar werden, führt zu einem gefühlten Kommunikationsabbruch und zu einer Unsichtbarkeit eines grösseren Teils der Studierenden als bisher. Bei einigen Dozierenden wurde die Forderung laut, die ETH müsse die klare Botschaft senden, dass die Anwesenheit entscheidend sei für das Lernen und den Erfolg in der Prüfung. Im Rahmen der Prüfungsevaluation im Sommer 2022 wurden mehr als 17.000 Antworten von Studierenden zu den Themen Art des LV-Teilnahme, Lernverhalten, Interesse an der Lehrveranstaltung, Wahrnehmung der Prüfung und Empfehlungen für zukünftige Studierende gesammelt. Darüber hinaus wurden Freitextaussagen analysiert und die Prüfungsnoten der Studierenden erfasst. Wir fanden nur geringe Unterschiede in Bezug auf die Prüfungsleistungen zwischen den verschiedenen Arten der LV-Teilnahme. Es gibt jedoch Hinweise darauf, dass die Leistungsunterschiede bei interaktiven Kursen stärker ausfallen können. Gleichzeitig ermöglichten die gesammelten Daten die statistische Überprüfung eines häufig diskutierten Stichprobenbias der studentischen Beurteilungen. Die Ergebnisse der Analysen leisten einen Beitrag zur Beantwortung der Frage, warum an vielen Universitäten die Anwesenheit in Präsenzveranstaltungen mit der Verfügbarkeit neuer, virtueller Präsenzformen stärker als erwartet abgenommen hat und welche Auswirkungen dies auf die studentische Lehrveranstaltungsbeurteilung haben kann.

In Hochschulen wird die Lehre normalerweise durch Studierende mit einem Fragebogen unmittelbar nach Abschluss einer Lehrveranstaltung evaluiert. Dabei bleibt unberücksichtigt, inwieweit diese erste Bewertung eine Momentaufnahme ist und mit der späteren Anwendung zusammenhängt. Die vorliegende Arbeit untersucht diese Lücke in Anlehnung an das 4-Ebenen-Modell von Kirkpatrick (Kirkpatrick, 1959a, 1959b, 1960a, 1960b, 2006), in dem Daten zur Ebene 1 "Reaktion" (direkt am Ende des Kurses) mit Daten der Ebene 3 "Verhalten" (einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen in der Praxis angewendet haben) in Beziehung gesetzt werden.

Es wurde eine Studie mit ca. 800 Teilnehmenden an Kursen für Prüfungsexpertinnen und -experten in der Berufsbildung durchgeführt. Unmittelbar am Ende des Kurses (t1) füllten sie einen Fragebogen aus mit Fragen zu den Dozierenden, zum Inhalt des Kurses, zum subjektiv erlebten Lernerfolg sowie zur Gesamtzufriedenheit mit dem Kurs. Einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen in der Praxis angewandt haben, füllten sie einen zweiten Fragebogen aus, in dem sie rückblickend ihre Gesamtzufriedenheit mit dem Kurs (t2) sowie ihre Sicherheit in der Anwendung des Gelernten einschätzten (t2).

Das Strukturgleichungsmodell (CFI = .96, RMSEA = .056 (.049-.064), SRMR = .041) zeigt folgendes. Die Zufriedenheit unmittelbar am Ende des Kurses (t1) hat einen – nicht sehr starken – Zusammenhang mit der Zufriedenheit (t2) einige Monate später, nachdem die Teilnehmenden die im Kurs erworbenen Kompetenzen angewendet haben. Die Zufriedenheit (t1) wird durch die Qualität der Dozierenden, den subjektiv erlebten Lernerfolg und insbesondere die im Kurs gelernten Inhalte erklärt. Die Zufriedenheit (t2) wird nur noch durch die im Kurs behandelten Inhalte erklärt, Einschätzungen zu den Dozierenden oder zum Lernerfolg spielen keine Rolle mehr. Die Sicherheit in der Anwendung des Gelernten (t2) wird nur durch den wahrgenommenen Lernerfolg (t1) erklärt.

Die Ergebnisse zeigen grosse Unterschiede im Erklärungswert von Lehrevaluationsdaten direkt am Ende des Kurses vs. mehrere Monate später, nach Anwendung des Gelernten in der Praxis: Wenn die längerfristige Zufriedenheit im Fokus steht, sollte nach den Kursinhalten gefragt werden (und nicht z.B. nach der Qualität der Dozierenden), wenn die Sicherheit in der Anwendung des Gelernten interessiert, sollte hingegen nach dem Lernerfolg gefragt werden.