Veranstaltungsprogramm

Daten spielen in Evaluationsverfahren eine entscheidende Rolle: Gemäß der Standards für Evaluation sollen Bewertungen und Schlussfolgerungen begründet (G8) und auf Basis von validen Informationen (G5) erfolgen. Die starke anwendungs- und am Evaluationsgegenstand ausgerichteten Evaluationsverfahren bedürfen besonderer Standards und Methoden, die sich an den Gütekriterien empirischer Forschung orientieren sollen (G5).

An der Hochschule Niederrhein, wie auch an anderen Hochschulen, gilt: Entscheidend für das Gelingen einer Evaluation ist ein durchdachtes und an methodischen Standards orientiertes Evaluationsverfahren. Es geht um die Beschreibung des Evaluationsgegenstandes (G1) und die Kontextanalyse (G2), nicht um einen Faktencheck oder eine Hypothesenprüfung. Die Evaluationsinstrumente werden hierauf ausgerichtet, auch wenn sie – wie im Call beschrieben – ggf. die Gütekriterien anderer Fachdisziplinen nicht vollends erfüllen.

Die Hochschule Niederrhein hat im Jahr 2021 mit dem Aufbau eines QM-Systems für Studium und Lehre begonnen. Ziel ist die Erlangung der Systemakkreditierung bis 2025. Den im Call genannten Friktionen und Spannungen begegnen wir durch die partizipative Entwicklung von Mindeststandards. Diese beziehen sich sowohl auf den Umgang mit Daten als auch auf die Auswahl der heranzuziehenden Indikatoren.

Der Innovationsgehalt in unserem QM-System besteht darin, dass bestimmte Kennzahlen nicht automatisch zu Entscheidungen führen: Evidenzbasierte Entscheidungen werden im Diskurs getroffen. Dazu werden nicht nur quantitative Daten, sondern auch qualitative Informationen herangezogen.

Am Beispiel der Internen Akkreditierung von Studiengängen möchten wir zeigen, wie die Hochschule Niederrhein der Problematik von datenbasierten Entscheidungsfindungen begegnet, um die Akzeptanz so (rational) getroffener Entscheidungen zu erhöhen: (1) Nicht Daten selbst werden diskutiert, sondern ein datenbasierter Qualitätsdialog über den Studiengang geführt; (2) Für den Umgang mit uninterpretiert bereitgestellten Daten gibt es bei Bedarf Hilfestellungen; (3) Für den Fall, dass die vorgesehenen Daten kritisiert werden und begründet unpassend für die Entscheidungsfindung sind, können Absprachen zu alternativen Informationsquellen getroffen werden.

Die diskursive Herangehensweise lässt sich auf andere Bereiche mit Schnittstellen zur Evaluationspraxis übertragen und leistet somit einen Beitrag zur Dialogfähigkeit über Daten aus unterschiedlichen Handlungslogiken.

Im Bereich der Hochschulevaluation steht am Anfang das Konzipieren und Implementieren einer systematischen Evaluationspraxis. In der Folge ist es entscheidend, dass sich Evaluationsergebnisse dem Evaluationsgegenstand als nützlich erweisen (Pohlenz et al., 2017) und dem System der Handelnden somit ermöglichen, gewinnbringende, funktionsfähige sowie nachhaltige Lösungen zu erarbeiten (Gebert, 2004). In der Erarbeitung dieser Lösungen ist eine Organisation auf ein koordiniertes Zusammenspiel der einzelnen AkteurInnen eines Systems angewiesen (Frei et al., 1996). Dabei stellt die Entwicklung einer organisationsweiten Lernkultur ein langwieriger, dynamischer sowie komplexer Prozess dar, der sich nicht immer linear gestaltet (Preskill, 1994). Zudem stellen nutzbringende Hinweise aus Evaluationen, vor allem wenn diese sich unerwarteterweise oder in unerwartetem Masse ergeben, eine Zusatzaufgabe für das handelnde System dar.

In diesem Beitrag wird die systematisierte Evaluationspraxis einer Pädagogischen Hochschule beispielhaft vorgestellt. Im Zentrum der getätigten Evaluationen steht der Entwicklungsaspekt. Es wird folgenden Fragestellungen nachgegangen:

• Inhaltsaspekt: Wo stehen wir? Inwiefern kann das Angebot sowie die eigene Hochschullehre weiterentwickelt werden?
• Handlungsaspekt: Wie kann die Nutzungspraxis orchestriert werden, so dass das System der Handelnden nicht überlastet wird?

Inhalte der Evaluationen wurden mit den zuständigen Mitgliedern der Hochschulleitung entwickelt und anhand von Online-Befragungen umgesetzt. Aus den getätigten Evaluationen (bspw. Modulbefragungen, Bachelorbefragungen) resultieren nutzbare Ergebnisse (u.a. Mittelwertunterschiede über verschiedene Kohorten, Regressionsanalysen). Massnahmen bieten sich auf der Ebene der Einzeldurchführungen, der Gesamtmodule, hinsichtlich der Fachbereiche sowie betreffend der Abteilung Ausbildung wie auch auf institutioneller Ebene an. In diesem Beitrag werden ausgesuchte Ergebnisse mit Blick auf deren mögliche Nutzung vorgestellt.

In der Diskussion mit den Kongressteilnehmenden wird gefragt: Valide Daten – rationale Entscheidungen – Überlastung des Systems? Da mit einer etwaigen Überlastung des Systems eine Nicht-Nutzung oder aber Widerstände in der Nutzung einhergehen können, werden Möglichkeiten einer institutionsweit orchestrierten Nutzungspraxis vertiefend diskutiert (siehe Fragestellung Handlungsaspekt). Denn schliesslich lohnen sich Evaluationen nur dann, wenn sie genutzt werden (Balzer & Beywl, 2018).

Die Rolle von Evaluierenden kann das Bereitstellen von Ergebnissen, das Vornehmen von Bewertungen, die Mitgestaltung von Entwicklungen sowie die Unterstützung der Zielfindung umfassen (Wottawa, 1991; Balzer & Beywl, 2018). Dabei ist sich auch die Fachgemeinschaft uneins, welche Aufgaben, v.a. auch bezogen auf das Generieren von Empfehlungen, in die Verantwortlichkeit von Evaluierenden fallen (Kromrey, 2001; Scriven, 2007). Sind Empfehlungen beauftragt, werden sie basierend auf transparent gestalteten Bewertungsprozessen sowie systematisch und nachvollziehbar vorgenommenen Bewertungen (Balzer & Beywl, 2018) entwickelt. In der Ausgestaltung von Empfehlungen gilt es die Kohärenz zu Erkenntnissen zu wahren und somit eine gewinnbringende Nutzungspraxis zu unterstützen.

Anhand eines Evaluationsprojekts im Schulbereich wird beispielhaft aufgezeigt, wie Empfehlungen ausfallen können. Im Projekt wurden über zwei Befragungszeitpunkte die Umsetzung eines neuen Lehrplans anhand einer formativen Evaluation begleitet. Es wurden folgende Fragestellungen untersucht:

• Inhaltsaspekt: Inwiefern hat konstante Erarbeitung des neuen Lehrplans die Unterrichtspraxis verändert?
• Handlungsaspekt: Welche Empfehlungen ergeben sich datenbasiert für die verschiedenen Akteursebenen?

Inhalte der beiden Online-Befragungen wurden von Auftraggebenden thematisch vorgegeben und von Evaluierenden aus dem neuen Lehrplan herausgearbeitet. 52.5% (N = 757) der angeschriebenen Lehrpersonen nahmen zu beiden Befragungszeitpunkten teil (regionale Vollerhebung). Auf der Basis des Lehrplans konnte ein Wirkmodell entwickelt und datenbasiert bestätigt werden. Im Projekt konnte Entwicklung stattfinden und auf vielseitige Weise dokumentiert werden (Mittelwertunterschiede über zwei Messzeitpunkte). Es zeigen sich differenzierende Effekte hinsichtlich der erfolgten Entwicklungen in verschiedenen Themenbereichen (Effektstärken). Praxisrelevante Bedingungsfaktoren konnten identifiziert werden (hierarchische Regressionsanalysen). Diese identifizierten Bedingungsfaktoren sowie die nachgewiesenen Mittelwertunterschiede bildeten neben deskriptiven Ergebnissen sowie offenen Angaben die Basis für generierte, weiterführende Empfehlungen.

Im diesem Beitrag werden Ergebnisse, Erkenntnisse sowie beispielhaft abgeleitete Empfehlungen präsentiert, welche sowohl exemplarisch wie auch auf übergreifender Ebene hinsichtlich der Rolle und Aufgabe von Evaluierenden zur Diskussion gestellt werden.