Evaluationen sind im Hochschul- und außeruniversitären Bereich seit langem fest verankert. Sie prüfen in regelmäßigen Abständen u. a. die wissenschaftliche Qualität, den Leistungsumfang sowie die Erfüllung der selbstgesteckten strategischen und inhaltlichen Zielsetzungen sowie deren Weiterentwicklung und Neuaufstellung für die Zukunft. Neben etablierten, häufig quantitativen, Evaluationskriterien treten seit einigen Jahren qualitative Erfassungs- und Analyseinstrumente in den Vordergrund, insbesondere hinsichtlich der geplanten und eingetretenen Wirkungen. Organisationen in institutionellen Settings sind daher angehalten, unabhängig vom jeweiligen Grad der institutionellen Verankerung von Evaluationsverfahren, Strategien und Instrumente für systematische Wirkungserfassungen und -analysen zu entwickeln und dauerhaft anzuwenden sowie langfristig zu verankern.
Die ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft als Einrichtung mit inter- und transdisziplinärer Arbeitsweise stellt sich diesen Herausforderungen. Dafür hat sie das Wirkungsmanagement als Instrument der Organisationsführung eingeführt. Anfang 2024 wurden eine Reihe von Instrumenten zur systematischen und möglichst „flächendeckenden“ Erfassung von Inputs, Outputs, Throughputs, Outcomes und Impacts über einen mehrjährigen Zeitraum eingeführt. Flankiert werden diese Instrumente zur Wirkungserfassung und -analyse mit qualitativen und quantitativen Wirkungsindikatoren sowie deren entsprechende Datenauswertung.
Ziel dieser Session ist es daher, zunächst in Form eines Werkstattberichts den bisher erreichten Stand der Institutionalisierung der Wirkungserfassung und -analyse am Beispiel der ARL zu präsentieren. In zwei Impulsen soll die theoretische Konzeption und praktische Umsetzung sowie die Analyse des so gewonnen Datenmaterials, inklusive Nutzbarmachung und Reflexion der hieraus entstandenen Erkenntnisse näher beleuchtet werden.
In einer Abschlussdiskussion sind die Teilnehmer:innen dieser Session eingeladen, sich gemeinsam über die vorgestellten Konzepte und Maßnahmen auszutauschen und institutionsübergreifende Ansätze und best practice-Beispiele, aber auch Herausforderungen, zu identifizieren.
Sessionformat: Einführung und Werkstattbericht + Zwei Inputs + Abschlussdiskussion
Moderation: Maximilian Räthel
Einführung und Werkstattbericht (30 min)
Maximilian Räthel (ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft)
Nach einer Einführung in die Konzeption des Wirkungsmanagementprozesses, die damit verbundenen Herausforderungen bei der Berücksichtigung der ARL-inhärenten Spezifika, (Schnittstelle Wissenschaft und Praxis, netzwerkförmige Arbeitsweise, unterschiedliche Typen von Arbeitsgremien und -formaten) sowie die Bedeutung der Wirkungserfassung und -analyse als qualitätssicherndes Element und Basis für die Weiterentwicklung im Sinne einer lernenden Organisation, werden in einem Werkstattbericht die in den letzten zwölf Monaten entwickelten[1] und sich in der Anwendungsphase befindlichen Instrumente vorgestellt und bereits daraus resultierende lessons learned näher erläutert.
Inputs (2x 15 min):
1. Thomas Weith (ILS – Institut für Landes- und Stadtentwicklungsforschung)
In einem Erfahrungsbericht aus der Perspektive eines Akademiemitglieds und erfahrenen Gremienleiters soll die Einführung und Umsetzung des Wirkungsmanagements und der damit verbundenen Maßnahmen und Instrument beleuchtet werden.
2. Lena Fritzsche (ARL – Akademie für Raumentwicklung in der Leibniz-Gemeinschaft)
Am Beispiel der ARL wird das Spannungsfeld zwischen qualitativer und quantitativer Wirkungserfassung und -analyse im Hinblick auf die praktische Umsetzung dargestellt. Am Beispiel von qualitativen und quantitativen Wirkungsindikatoren bezogen auf Wissenschaft und Praxis, werden einige zugrundeliegende Wirklogiken und -pfade nachgezeichnet. Abschließend wird die Nutzbarmachung dieser Erkenntnisse als Basis für einen gemeinsamen Reflexions- und Lernprozess über die gesellschaftlichen Wirkungen der ARL als soziale Forschungsinfrastruktur vorgestellt.
Abschlussdiskussion (30 min)
Moderation: Thomas Weith
Leitfragen für die gemeinsame Abschlussdiskussion mit dem Plenum:
- Welche qualitativen und/oder quantitativen Tools und Methoden setzen Sie in Ihren Institutionen zur Wirkungserfassung und -analyse ein und wie bereiten Sie deren Ergebnisse auf?
- Welche Erfahrungen konnten Sie bereits bei der praktischen Anwendung ihrer Erfassungs- und Analyseinstrumente sammeln (best practice-Beispiele, Herausforderungen, lessons learned)?
- Welchen Nutzen ziehen Sie aus quantitativen und qualitativen Wirkungserfassungen und -analysen?
- Wie können Lerneffekte für die langfristige Institutionalisierung genutzt werden?
[1] Vgl. Session C8 „Wie evaluieren Institutionen die Wirkungen ihrer transdisziplinären Wissenserzeugung und -verbreitung? Reflexionen über die zunehmende Bedeutung der Wirkungsorientierung“ im Rahmen der 27. Jahrestagung der DeGEval – Gesellschaft für Evaluation e. V. (18.-20.09.2024, Potsdam)
