Bewertungskriterien sind zentral für jede Evaluation und Voraussetzung für die systematische und faire Bewertung des Evaluationsgegenstandes. Die OECD/DAC - Kriterien sehen hier u.a. die Relevanz und die Nachhaltigkeit besonders im Vordergrund. Aber welche Rolle spielen diese Bewertungskriterien im Hinblick auf Transdisziplinarität?
Es erwarten Sie drei spannende Vorträge, die zum einen die grundsätzliche Bedeutung und die Nutzung von Kriterien ausleuchten, zum anderen einen vertieften Blick auf Relevanz und Nachhaltigkeit bieten. Erfahrungen aus der Schweiz stehen ebenso im Mittelpunkt wie eine Meta-Auswertung im Kontext der Entwicklungszusammenarbeit. Spannend wird auch, was ein adaptives Nachhaltigkeitsverständnis im Sinne einer transdisziplinären Perspektive für Evaluationen im Kontext Kinder- und Jugendpolitik bedeuten kann.
Verständnis und Nutzung von Bewertungskriterien
Véronique Eicher, Lars Balzer, François-Xavier Viallon - Eidgenössische Hochschule für Berufsbildung, Schweiz, Céline Mavrot - Université de Lausanne, Schweiz; Melike Ömerogullari - Pädagogische Hochschule Graubünden, Schweiz; Oto Potluka - Universität Basel, Schweiz
Zunächst wird Véronique Eicher den Fokus auf die grundsätzliche Bedeutung von Bewertungskriterien legen. Die Erarbeitung und Nutzung von Kriterien in der Durchführung von Evaluationen werden oft vernachlässigt (Balzer, 2005; Heuer, 2017). Es wird aufgezeigt, was verschiedene Akteur:innen der Evaluations-Community unter Kriterien verstehen und wie sie sie nutzen. Vorgestellt werden dazu Ergebnisse aus einer Onlinebefragung von Teilnehmern eines Jahreskongresses der Schweizer Evaluationsgesellschaft (SEVAL). Es zeigt sich, dass Akteur:innen zwar ein ähnliches Verständnis von Bewertungskriterien haben, aber auf unterschiedliche Aspekte fokussieren. Auch wenn die Stichprobe nur eingeschränkt verallgemeinerbare Aussagen zulässt, gibt sie praxisrelevante Hinweise. Die aufgezeigten Verständnis- und Gewichtungsunterschiede zeigen die Wichtigkeit der Kommunikation zwischen den Akteursgruppen, um ein gemeinsames Verständnis von Kriterien zu schaffen, sowie um die Professionalisierung des Evaluationsfelds weitervoranzutreiben.
„Das Richtige“ richtig evaluieren – Perspektivenvielfalt als Grundlage für Relevanzbewertungen
Mirjana Köder & Kirsten Vorwerk - DEval, Deutschland
In der Evaluierungspraxis zeigt sich, dass Relevanz als multifaktorielles Konstrukt bei der Bewertung häufig unzureichend berücksichtigt wird. Entsprechend fallen Relevanzbewertungen meist positiv aus. Prioritäten und Bedarfe unterschiedlicher Stakeholder können sich allerdings stark unterscheiden und werfen die Frage der „Relevanz für wen?“ auf. Der Vortrag von Mirjana Köder & Kirsten Vorwerk zielt darauf ab, einen Ansatz zur Bewertung der Relevanz in einem komplexen Umfeld und einer vielfältigen Akteurslandschaft vorzustellen. Grundlage hierfür bildet eine Meta-Auswertung von acht Länderportfolioreviews (LPR), die das Deutsche Evaluierungsinstitut für Entwicklungszusammenarbeit (DEval) zur Unterstützung der strategischen Portfoliosteuerung des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) erstellt hat.
Transdisziplinäre Impulse für die Evaluation von Nachhaltigkeit
Franziska Heinze & Stefanie Reiter - Deutsches Jugendinstitut e.V., Außenstelle Halle, Deutschland
Im Evaluationskontext gibt es zahlreiche Begrifflichkeiten und Konzepte von Nachhaltigkeit, mit denen unterschiedliche Ansprüche an Evaluation verbunden sind. Patton (2020) schlägt den Begriff der „adaptiven Nachhaltigkeit“ vor, der über eine eher lineare Vorstellung von Nachhaltigkeit, wie sie beispielsweise in den OECD/DAC-Kriterien (2019) angelegt ist, hinausgehen will. In einem ganzheitlichen Sinne gelte es dabei, als Postulat in allen Evaluationen soziale, ökologische und ökonomische Nachhaltigkeit und Transformationen, einschließlich der Bewertung von Kontextfaktoren und Änderungen in den Systemen systematisch in den Blick zu nehmen und dabei auch nicht-intendierte, negative Effekte herauszuarbeiten. Im Vortrag von Franziska Heinze & Stefanie Reiter wird im Sinne einer transdisziplinären Perspektive ausgeleuchtet, was ein solches adaptives Nachhaltigkeitsverständnis am Beispiel des Bundesprogramms „Demokratie leben!“ für die Evaluation von Förderprogrammen im Kontext der Kinder- und Jugendpolitik des Bundes bedeuten könnte.