Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Veranstaltung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
B4: Markt, Macht und Methoden: Eine Fishbowl-Diskussion über die Auswirkung des Evaluationsmarkts auf die (methodische) Qualität von Evaluierungen
Zeit:
Donnerstag, 15.09.2022:
16:45 - 18:15

Leitung der Sitzung: Kirsten Vorwerk
Leitung der Sitzung: Dr. Jan Tobias Polak, Arbeitskreis Methoden / DEval

Zusammenfassung der Sitzung

Beschreibung der Session/Abstract:

Obwohl die große Mehrheit der Evaluationen von meist öffentlichen Auftraggebenden vergeben und von privaten Auftragnehmenden umgesetzt werden, existiert sehr wenig wissenschaftlich-evaluatorische Evidenz über die Verfasstheit des Evaluationsmarktes. Eine Ausnahme bildet ein Aufsatz von Lemire, Nielsen und Christe (2018), in dem festgestellt wird, dass die Nachfrageseite u.a. durch relativ wenige Käufer sowie eine Dominanz von staatlichen Institutionen geprägt ist, während die Angebotsseite von einigen großen Firmen dominiert und ansonsten aus einer großen Diversität von unterschiedlichen Anbietern besteht. Die daraus resultierenden Marktdynamiken beschreiben Lemire et al. (2018) als nicht-perfekt, Nachfrage-getrieben und oligopolistisch.

Nimmt man das Verständnis von Evaluation als „Markt“ als Ausgangspunkt für Überlegungen zur (methodischen) Qualität von Evaluierungen, so lässt sich argumentieren, dass das Verhältnis von Auftragnehmenden und Auftraggebenden durch eine doppelte Machtasymmetrie gekennzeichnet ist: Einerseits eine ökonomische Asymmetrie, die – bedingt durch die wirtschaftliche Transaktion selbst – Auftraggebenden die ökonomische Macht über die Interaktion gibt. Hierbei ist auch von Bedeutung, dass es sich nicht um einen One-Spot-Market handelt und Auftraggebende sich auch Möglichkeiten für zukünftige Transaktionen offenhalten müssen. Andererseits besteht eine Wissensasymmetrie, die – bedingt durch den Inhalt der Transaktion – Auftraggebenden die Hoheit über oftmals nicht verschriftliche Gegenstands- und Durchführungsexpertise, Evaluationsprozesse, Methoden und Zielgruppenzugänge ermöglicht. Diese Asymmetrie wird verstärkt durch das Postulat der Unabhängigkeit, das meist durch die Vergabe von Evaluationen an externe Auftragnehmenden umgesetzt wird.

Die eingeschränkte Evidenzbasis über die Verfasstheit und Dynamik des Evaluationsmarkts ist insofern überraschend, da Diskussionen über die (methodische) Qualität von Evaluationen oft implizit auf die Unvollständigkeit des Evaluationsmarkts Bezug nehmen. So kann die eingeschränkte (methodische) Qualität von Evaluationen von Auftragnehmenden z.B. mit zu hohen oder umfassenden Anforderungen bei gleichzeitig beschränkten Arbeitskontingenten erklärt werden, während Auftraggebende die Gründe für Qualitätsmängel z.B. in dem begrenzten methodischen Wissen sehen. Offensichtlich wird dies etwa in der Diskussionsreihe des AK Methoden in der DeGEval zu politikfeldübergreifenden Evaluationsstandards (siehe z. B. Altenburg 2017).

Ziel und Fragestellungen der Session

Vor diesem Hintergrund soll die vorliegende Session ein Startpunkt für die systematische Auseinandersetzung mit den Spezifika des deutschsprachigen Evaluationsmarktes und seinen Auswirkungen auf die (methodische) Qualität von Evaluationen darstellen. Sie soll den Erfahrungsaustausch unterschiedlicher, am Evaluationsmarkt beteiligter Akteure ermöglichen und mögliche Lösungen für den Umgang mit Machasymmetrien identifizieren. Die Session befasst sich dabei in Anlehnung an Lemire et al. (2018) mit übergeordneten Leitfragen wie den folgenden:

  • Welche Auswirkungen hat der Evaluationsmarkt auf Methoden und die Qualität von Evaluationen? Welche Dienstleistungen werden auf dem deutschsprachigen Evaluationsmarkt nachgefragt, welche angeboten?
  • Wie können Unabhängigkeit und Evaluationsstandards in diesem Kontext gewährleistet werden?
  • Wie kann Professionalisierung von Evaluator*innen vor dem Hintergrund eines unperfekten Marktes gelingen? Etwa, wenn Auftragnehmende in kommerzieller Konkurrenz stehen und Auftraggebende bei Offenlegung von Evaluationsprojekten Reputationsrisiken eingehen?
  • Welche Möglichkeit existiert, um Machtasymmetrien auszugleichen?
  • Was ist die Rolle der DeGEval, in der mit Auftraggebenden und Auftragnehmenden beide Gruppen von Marktteilnehmenden vertreten sind, bei der Aushandlung und Auflösung dieser Asymmetrien?
  • Was sind Wechselwirkungen mit angrenzenden Märkten? Aus welchen angrenzenden Märkten kommen Evaluator*innen, wohin wandern sie ab?

Struktur der Session:

Um möglichst viele unterschiedliche Perspektiven berücksichtigen zu können, wird das Format der Fishbowl-Diskussion (Innen-/Außenkreis-Methode) durchgeführt. Die vier vortragenden Diskutant*innen bilden den inneren Kreis, Zuhörer*innen bilden den Außenkreis. Eine interaktive Einbindung der Zuhörer*innen findet durch das Anbieten von freien Plätzen im inneren Kreis statt, sodass sie sich an der moderierten und strukturierten Diskussion beteiligen können.

Diskutant*innen:

  • Ezra Bender (DEval)
  • Sigrid Breddy (Austrian Development Agency)
  • Dr. Felix Gaisbauer (IMAP)
  • Dr. Markus Steinich (GIZ)
  • Susanne von Jan (smep-consult)
  • alle Teilnehmenden der Session, die das Fishbowl-Format nutzen möchten!

Moderation:

  • Kirsten Vorwerk (AK Entwicklungspolitik und Humanitäre Hilfe)
  • Dr. Tobias Polak (AK Methoden in der Evaluation)


Zeige Hilfe zu 'Vergrößern oder verkleinern Sie den Text der Zusammenfassung' an
Präsentationen

Markt, Macht und Methoden: Eine Fishbowl-Diskussion über die Auswirkungen des Evaluationsmarkts auf die (methodische) Qualität von Evaluierungen

Jan Tobias Polak1, Kirsten Vorwerk2, Ezra Bender3, Astrid Ganterer4, Felix Gaisbauer5, Susanne von Jan6

1Arbeitskreis Methoden in der Evaluation, DeGEval; 2Arbeitskreis Entwicklungspolitik und Humanitäre Hilfe, DeGEval; 3Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval); 4Austrian Development Agency (ADA); 5Projektträger des Deutschen Zentrums für Luft- und Raumfahrt (DLR); 6smep-consult



 
Impressum · Kontaktadresse:
Datenschutzerklärung · Veranstaltung: 25. DeGEval Jahrestagung
Conference Software - ConfTool Pro 2.6.146
© 2001–2023 by Dr. H. Weinreich, Hamburg, Germany