Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
A4: Wandel bei der internen und externen Evaluation von Schulen
Zeit:
Donnerstag, 16.09.2021:
14:15 - 15:45

Leitung der Sitzung: Dr. Susanne Frühauf, Hessische Lehrkräfteakademie
Leitung der Sitzung: Ute Schoppmann

Gastgeber: AK Schulen


Zusammenfassung der Sitzung

Übergreifende Problemstellung:

Evaluationen haben im schulischen Kontext einen gewissen Grad an Verbindlichkeit erlangt. Die schulinterne Evaluation ist in den meisten Orientierungs- und Qualitätsrahmen der Länder verankert und auch bei übergreifenden Projekten von Universitäten und Ministerien sind Evaluationen meist obligatorischer Bestandteil der Projektanträge. Doch nicht immer erfüllen diese Evaluationen ihren Zweck (sofern es überhaupt einen gibt).

In den drei Beiträge in dieser Session werden Verfahren vorgestellt, die sich diesem Problem widmen und dabei an unterschiedlichen Stellen ansetzen. Ein verbindendes Element der drei Beiträge ist dabei, dass stets auch wichtige Fragen der Akzeptanz und der Evaluationskultur adressiert werden.

 

Kurze Zusammenfassung der Einzelbeiträge:

Die ersten beiden Beiträge widmen sich der schulinternen Evaluation.

Im ersten Beitrag setzen Dirk Groß, Philipp Brandenburger und Johannes Miethner (Pädagogisches Landesinstitut Rheinland-Pfalz, Deutschland) bei Qualifizierungsmaßnahmen zum Thema interne Evaluation an. Sie haben sich intensiv mit primären Zielgruppen, den zu erwerbenden Kompetenzen, Fortbildungsformaten und didaktischen Settings auseinandergesetzt und werden erste Qualifizierungsmaßnahmen vorstellen, die sie auf Grundlage dieser Überlegungen entwickelt haben.

Im zweiten Beitrag werden Erich Svecnik und Angelika Petrovic (IQS - Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen, Österreich) ein ausgearbeitetes und technisch unterstütztes Verfahren vorstellen, welches der schulinternen Evaluation vorgelagert ist. Es besteht aus zwei Phasen, einer Einschätzung der 14 Qualitätsbereiche des Qualitätsrahmens durch das Lehrkräfteteam, und einer anschließenden Lehrerkonferenz, in der mithilfe von Leitfragen die schuleigenen Fragestellungen für die interne Evaluation konkretisiert werden.   

Im dritten Beitrag werden Matteo Carmignola, Franz Hofmann (beide Universität Salzburg, Österreich), Daniela Janko und Clemens Reindl (beide FH Campus Wien, Österreich) die Begleitevaluationen eines nationalen Schulentwicklungsprojekts vorstellen. Sie werden dabei u. A. erläutern, wie sie large-scale Erhebungen und retrospektive Fokusinterviews integriert haben, wie sie dabei die Anonymität gewahrt haben und wie zentrale Konstrukte operationalisiert wurden.  

 

Schlagwörter: schulinterne Evaluation, Selbstevaluation, formative Evaluation, Schulentwicklung, Konstruktoperationalisierung, Implementationsforschung


Präsentationen

Ein niederschwelliges Verfahren zur Identifikation von Evaluationsdesiderata und zum Einstieg in die interne Evaluation

Erich Svecnik, Angelika Petrovic

IQS - Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen, Österreich

Wesentliche Voraussetzung für den Erfolg von (interner) Evaluation sind eine klare Definition des Evaluationsgegenstands und der Fragestellungen (DeGEval, 2016; Stockmann & Meyer, 2014; Widmer,2000). In der Neugestaltung des österreichischen Qualitätsmanagementsystems für Schulen wird datenbasierter und evidenzorientierter Schulentwicklung große Bedeutung zugemessen. Die dafür hauptverantwortlichen Schulleitungen sind allerdings keine Evaluationexpert/inn/en (Brauckmann & Böse, 2018; Wurster et al., 2016). Dies bildete den Ausgangspunkt für die Entwicklung eines niederschwelligen zweiphasigen Verfahrens (siQe, schulinterne Qualitätseinschätzung) zur Unterstützung der Schulleitungen bei der Identifikation breit akzeptierter, diskutierter und reflektierter Desiderata für die interne Evaluation.

Als erste Phase erfolgt die individuelle Qualitätseinschätzung mit Hilfe eines Online-Tools strukturiert entlang der in fünf Qualitätsdimensionen gruppierten 14 Qualitätsbereiche des österreichischen Qualitätsrahmens für Schulen, wobei jeder Qualitätsbereich mit einer einzelnen, globalen Frage einzustufen ist. Als Zwischenergebnis des Verfahrens erhält die Schulleitung eine automatisch generierte grafische Auswertung der individuellen Einschätzungen ihres Lehrerteams - eine Balkengrafik pro Qualitätsbereich. Schulische Leistungsdaten fließen nicht direkt ein, wohl aber über die Einschätzung der Lehrpersonen (Qualitätsbereich 5.1 bezieht sich auf „Erworbene Kompetenzen“).

Die Ergebnisse der individuellen Einschätzungen sind der Ausgangspunkt für die zweite siQe-Phase, einer Lehrerkonferenz, in deren Rahmen vom gesamten Lehrerteam über die vorliegenden Qualitätseinschätzungen diskutiert und reflektiert wird. Der Aufbau dieser siQe-Konferenz wird durch vorgegebene Leitfragen so strukturiert, dass die Diskussion von einem allgemeinen Überblick über die Ergebnisse der individuellen Einschätzungen hin zu vertiefender Betrachtung einzelner Qualitätsbereiche und am Ende weiter zu konkreten Fragestellungen für die interne Schulevaluation geleitet wird.

Das Ergebnis von siQe ist eine strukturierte und diskursiv reflektierte Einschätzung von Stärken und Schwächen des Schulstandortes, die in die interne Schulevaluation überleitet. Die Schulleitung kann auf Basis der siQe-Ergebnisse Fragestellungen spezifizieren und damit auch den Evaluationsgegenstand für ein internes Evaluationsprojekt definieren. Somit ist siQe als Verfahren zu sehen, das interner Schulevaluation vorgelagert ist.



Theoriegestützte Evaluation von Schulentwicklungsprojekten am Beispiel von evalGruKo

Matteo Carmignola1, Franz Hofmann1, Daniela Janko2, Clemens Reindl2

1Universität Salzburg, Österreich; 2FH Campus Wien, Österreich

Die Begleitevaluation für das Schulentwicklungsprojekt „Grundkompetenzen absichern“ (Sobanski, 2019) wird seit Herbst 2018 als formative Evaluation einer nationalen Schulentwicklungsinitiative durchgeführt mit dem Ziel, die Prozesse, die durch dieses Projekt in den Bundesländern initiiert wurden, zu dokumentieren und bundesweit den Grad der Umsetzung zu beschreiben.

In diesem Beitrag soll das Design des Evaluationsprojektes dargestellt und reflektiert werden, das eine Verbindung von formativen large-scale Erhebungen zu zwei Messzeitpunkten mit retrospektiven Fokusinterviews mit Akteur*innen aus den Projektschulen vorsieht. In der Präsentation werden insbesondere das kontrastierende Auswahlverfahren und die Konzeption der Fokusinterviews, die datengestützt mit Ergebnissen aus zwei Messzeitpunkten zur integrativen Verbindung beider Evaluationsansätze erfolgten, beschrieben. Dabei soll auch beleuchtet werden, wie der geforderten Anonymitätswahrung beteiligter Institutionen und Personengruppen auf methodischer und organisatorischer Ebene begegnet wird. In einem zweiten Schritt sollen ausgewählte Strategien zur Operationalisierung von zentralen Konstrukten besprochen werden, mit denen eine theoriegestützte Evaluation (vgl. Coryn et al., 2011) zur Implementation von Schulentwicklungsvorhaben intendiert wird. Im Sinne einer formativen Evaluation zur Projektimplementation (Petermann, 2014) werden dabei insbesondere die Dimensionen der Akzeptanz und der Grad der Umsetzung des Projektes sowie auch teils wirkungsorientierte Aspekte wie die Durchdringung und die Nachhaltigkeit der Maßnahme an den Schulen angesprochen.

Neben einer Offenlegung der methodischen Grundüberlegungen und Intentionen des Evaluationsprojektes werden die Anbindung an den Evaluationsauftrag und der Ertrag auf Grundlage der Ergebnisse der ersten zwei Projektkohorten (Rücklauf von etwa 180 Projektschulen, 160 Schulleitungen und 2.000 Lehrpersonen) illustriert.

_____

Coryn, C. L. S., Noakes, L. A., Westine, C. D., & Schröter, D. C. (2011). A systematic review of theory-driven evaluation practice from 1990 to 2009. American Journal of Evaluation, 32(2), 199–226.

Petermann, F. (2014). Implementationsforschung: Grundbegriffe und Konzepte. Psychologische Rundschau, 65(3), 122–128.

Sobanski, F. (2019). Warum »Grundkompetenzen absichern«? Hintergründe und Intentionen von GruKo. Schulverwaltung, 7(6), 162–165.



Das kann doch (nicht) jeder! Fort- und Weiterbildung zur internen Evaluation in Schulen

Dirk Groß, Brandenburger Philipp, Miethner Johannes

Pädagogisches Landesinstitut Rheinland-Pfalz, Deutschland

Der Beitrag geht auf folgende im Call for Proposal formulierte Frage am Beispiel interner Evaluationen im Arbeitsfeld Schule ein: "Wie haben sich in den vergangenen Jahren die Qualitätsanforderungen an Evaluationen und damit auch die Qualifikationsprofile der Evaluierenden geändert?

Die Bedeutung des Themas „Interne Evaluation in Schulen“ wird aktuell insbesondere durch die Meta-Studie von John Hattie (vgl. Hattie 2015) herausgestellt. Demnach stellt die „Formative Evaluation des Unterrichts“ einen gut wirkenden Faktor im Hinblick auf die Lernleistungen von Schülerinnen und Schülern dar (Hattie/Zierer/Beywl, 2018). Demgegenüber stehen jedoch empirische Befunde, die auf eine geringe Akzeptanz und Nachhaltigkeit von internen Schulevaluationen verweisen (vgl. Beywl/Balzer, 2016, S. 192).

Im geplanten Beitrag wird thematisiert, wie im Bereich der Lehrerfort- und Weiterbildung zum Auf- und Ausbau von "Evaluationsvermögen und Evaluationskultur" (Beywl/Balzer, 2016, S. 193) in Schulen beigetragen werden kann. In Anlehnung an organisationstheoretische Überlegungen (Stockmann 2018) werden zunächst die Zielgruppen herausgearbeitet, die innerhalb und im Umfeld von Schulen für Qualifizierungsmaßnahmen zur Thematik von Interesse sind. Anschließend werden Kompetenzen herausgearbeitet, die für interne Schulevaluationen verschiedener Reichweiten benötigt werden. Diese Kompetenzen werden systematisch aus den "Empfehlungen für Aus- und Weiterbildung in der Evaluation" (DeGEval 2008) abgeleitet und für das Feld der internen Schulevaluation konkretisiert. Abschließend wird auf Fortbildungsformate und didaktische Settings eingegangen, die sind geeignet, um den Aus- und Aufbau von Kompetenzen zur internen Evaluation in Schulen zu unterstützen. In diesem Zusammenhang werden auch erste Umsetzungsbeispiele des Pädagogischen Landesinstituts Rheinland-Pfalz-Pfalz vorgestellt.