Veranstaltungsprogramm

Under- und Overreporting (also die unwahre Quantifizierung realer Gegenstände durch Befragte entlang den Erwartungen sozialer Erwünschtheit) sowie Pseudo-Opinions (also die Angabe von Kenntnis und/oder Beurteilung von fiktiven Gegenständen) sind Phänomene, deren Persistenz in der empirischen Sozialforschung gut belegt ist und die, je nach Forschungsfrage, kleinere oder größere Probleme für die Validität von Befunden darstellen.

Ist in der Wahlforschung etwa das Overreporting von Wahlbeteiligung ein übliches Phänomen, dem unter anderem mit Gewichtungsverfahren begegnet wird, handelt es sich bei der Äußerung von Pseudo-Opinions in Befragungen um Indikatoren für die generelle Validität der Befragungsdaten: von Befragten, die bereit sind, Meinungen über Gegenstände äußern, zu denen sie – ob deren Fiktivität – gar keine Meinung haben können, sind auch weniger akkurate Beurteilungen gegenüber realen Gegenständen zu erwarten; je höher der Anteil dieser Befragten in einer Befragung ist, umso fraglicher erscheinen Befunde, die auf Basis der entsprechenden Befragungsdaten zutage gefördert werden.

Von besonderer Bedeutung sind die genannten Phänomene jedoch im Rahmen von quantitativen Gesamtnetzwerkanalysen. Hier entscheidet die Akkuranz der Antworten der Befragten wesentlich über alle Strukturparameter des Netzwerks. Unter- oder übertreiben etwa Befragte bei der Angabe ihrer Sexualkontakte, so wird ein Netzwerk, das Übertragungswege von Geschlechtskrankheiten abbilden soll, von der Wirklichkeit in grobem Ausmaß abweichen und für Analysen weitgehend untauglich sein.

In der Evaluationsforschung sind Untersuchungen der Validität quantitativer Daten von Gesamtnetzwerkanalysen mit einem Fokus auf die genannten Phänomene die Ausnahme. Als Desiderat ist dies insbesondere deshalb anzusehen, da sich Evaluationskontexte häufig durch spezifische Machtgefälle auszeichnen, in denen normative und bisweilen ökonomische Drücke für Evaluierte besondere Anreize darstellen, die Erwartungen von Evaluierenden zu antizipieren und entsprechend dieser Erwartungen, statt akkurat, zu antworten.

Im Rahmen des Vortrags werden die Ergebnisse eines quantitativen Methodenexperiments vorgestellt, die einerseits ein hohes Ausmaß von Pseudo-Opinions in der Listenabfrage einer Gesamtnetzwerkanalyse der Projekte des Bundesprogramms „Demokratie leben!“ darlegen und die andererseits auf möglicherweise generalisierbare Ursachen und Folgen dieses Validitätsproblems im Evaluationskontext verweisen.

In vielen Evaluationen spielen quantitative Befragungen zum Evaluationsgegenstand eine prominente Rolle, wobei häufig unklar ist, aus welcher Motivation Befragte an der Befragung teilnehmen. Empirische Ergebnisse und Theorien beschreiben Faktoren, welche die Entscheidung zur Teilnahme oder Nichtteilnahme sowie das Antwortverhalten der Teilnehmenden beeinflussen. Bisher unberücksichtigt ist hierbei jedoch die Qualität der Motivation der Befragten zur Teilnahme und inwieweit unterschiedliche Motivationslagen mit dem Antwortverhalten zusammenhängen (z.B. bezüglich Antwortausfall oder Antworttendenzen). Auf Grundlage der Selbstbestimmungstheorie der Motivation (Ryan & Deci, 2000) wurde ein Instrument zur Erfassung der Motivationslagen von Studierenden zur Teilnahme an Befragungen in Evaluationen entwickelt. Ergebnisse explorativer und konfirmatorischer Faktorenananalysen deuten auf eine fünffaktorielle Struktur hin. Ferner zeigt sich eine starke Messinvarianz bezüglich Geschlecht, Abschlussziel und Fakultät. Korrelationen mit Drittvariablen weisen auf die konvergente Validität der fünf Subskalen hin. Ergebnisse latenter Profilanalysen zeigen vier Profile von Teilnahmemotivation, welche sich inhaltlich plausibel im Antwortverhalten der jeweiligen Befragungsteilnehmenden unterschieden. Diskutiert werden (a) theoretische Implikationen zur Modellierung von Teilnahmeverhalten in Befragungen, (b) praktische Implikationen für die Interpretation und Verwertung von Befragungsergebnissen in Evaluationsprojekten sowie (c) Übertragungsmöglichkeiten auf andere Evaluationskontexte.

As part of recording the progress toward promoting peaceful societies as envisioned in the Sustainable Development Goal (SDG) 16, it is important to provide accurate estimates of violence-related deaths (SDG 16.1). These estimations face a number of methodological challenges, resulting in rather conservative estimates in the social sciences. In this article, we discuss SDG indicator 16.1.2 on conflict-related deaths, proposing its enlargement to cover different forms of collective violence. Various types of collective violence, their definition, measurement, and methods to combine them without double counting are reviewed. Comparing the Georeferenced Events Dataset (GED) to the Global Terrorism Database (GTD) shows that events of armed conflict and terrorism overlap to a certain degree. Our argument is that merging data from different event databases can provide a more accurate account of collective violence. We augment the GED data on organized armed conflict with data on terrorism—as a result, our estimates of the numbers of collective violence-related deaths are indeed significantly higher than suggested by GED (one of the most widely used databases in the social sciences).

Note: The method apllied for merging data sets can also be used for other topics.