Sitzung | |
AdH8: Enhancing Reproducibility and Panel Modeling in Empirical Sociological Research
Sitzungsthemen: Meine Vortragssprache ist Deutsch., Meine Vortragssprache ist Englisch.
| |
Zusammenfassung der Sitzung | |
Der Vortrag "Exploring Unobserved Processes and Latent Change in Panel-Data: An Application of Latent Transition Analysis" wird auf Englisch gehalten. Alle anderen Vorträge der Veranstaltung sind auf Deutsch. | |
Präsentationen | |
Reproduzierbarkeit der meistzitierten statistischen Vorhersagemodelle für soziologisch relevante Entscheidungen Universität Duisburg-Essen, Deutschland Die Reproduzierbarkeit von Forschungsergebnissen ist eine zentrale Voraussetzung für glaubwürdige und verlässliche Wissenschaft. In dieser Studie wird die Reproduzierbarkeit der meistzitierten statistischen Vorhersagemodelle für sozialwissenschaftlich relevante Entscheidungen untersucht. Der Fokus liegt dabei auf vier Themenbereichen: Fertilität, Eheschließung, Scheidung und regionale Mobilität. Für jeden Bereich wurden die meistzitierten Publikationen aus zwei Zeiträumen (1975–1985 und 2010–2020) anhand von Zitationsindizes (Web of Science, Scopus) ausgewählt. Ziel war die Reproduktion der in den Artikeln dargestellten Modelle auf der Grundlage der zur Verfügung gestellten Informationen. Die Analyse zeigt, dass die Angaben zur Datenaufbereitung und -verarbeitung in den Artikeln häufig unvollständig und inkonsistent sind. Unabhängig vom Publikationszeitraum konnten die Modelle in den meisten Fällen nicht exakt nachvollzogen werden. Diese Ergebnisse werfen grundsätzliche Fragen zur Nachvollziehbarkeit und Glaubwürdigkeit statistischer Analysen in der sozialwissenschaftlichen Forschung auf. Sie unterstreichen die Notwendigkeit, in Zukunft sowohl die methodischen Standards als auch die Transparenz in der Berichterstattung zu stärken. Verbesserung der Annotationsqualität und Reproduzierbarkeit bei Textklassifikationsaufgaben University of Stuttgart, Germany Text-as-data methods in the social sciences often rely on manual annotations of text corpora. This contribution presents the development and implementation of a new web-based annotation tool, a novel interface for collaborative annotation in multi-label text-classification tasks that systematically captures and leverages annotator disagreement. The annotation process is implemented in a three-step process that is executed in small batches and iteratively over multiple rounds: First, annotators annotate the same data in pairs. In the second phase, annotators engage in discussions (a chat-window) about cases where they disagree, directly exchanging reasoning, explaining their interpretations, convincing one another, or correct mistake before (optionally) revising their initial judgments (similar to Chen et al., 2019). Data for which no agreement could be achieved after discussion between annotators is passed to "experts" (usually the study authors) for a final decision in a third step. These experts review the text in question, all annotations, and the chat history between annotators. They can modify the codebook if they determine that existing rules were insufficient for annotators to agree on a set of labels. All codebook changes are stored in a version-control system alongside discussions (the chat-history and annotations), enabling two key benefits: tracking the evolution of coding rules and presenting all changes to annotators before they begin to work on a new batch. Our approach offers three advantages resulting in greater reproducibility of annotations. First, by facilitating direct discussion between coders, it promotes shared understanding that improves inter-rater reliability and aligns understandings of more complex concepts. Second, by systematically logging codebook adaptations, it creates transparency about how coding schemes evolve during the research process. Third, by documenting conceptual boundaries and edge cases, the tool enhances both theory development, methodological transparency, and reproducibility when operationalizing complex concepts. Modellierungsansätze zur Analyse kausaler Hypothesen anhand von Paneldaten – ein Abriss neuerer Entwicklungen Universität Duisburg-Essen, Deutschland Dieser Beitrag gibt einen Überblick über neuere Entwicklungen bei der Analyse von Paneldaten zur Überprüfung kausaler Hypothesen. Da zur Bearbeitung typischer soziologischer Fragestellungen Experimente als Forschungsdesign meistens nicht in Frage kommen, wird häufig auf Survey-Daten zurückgegriffen. Während in Experimenten wenigstens die Möglichkeit besteht, kausale Prozesse unmittelbar zu beobachten (was u. a. aufgrund potentieller Störfaktoren noch nicht bedeutet, kausale Effekte dann auch korrekt zu erfassen), haben Survey-Daten den entscheidenden Nachteil, dass sie lediglich korrelative Strukturen zum Vorschein bringen. Der Weg, um von solchen Strukturen zumindest in die Nähe eines Belegs kausaler Prozesse zu kommen, ist weit. Um mit Survey-Daten statistisch festgestellte Effekte zumindest ansatzweise als Hinweise auf kausale Effekte deuten zu können, werden daher multivariate Analyseverfahren eingesetzt und stetig weiterentwickelt. Schon lange besteht Konsens darüber, dass auf diesem Weg Paneldaten gegenüber Querschnittsdaten deutliche Vorteile bieten. Allerdings reicht es nicht aus, Paneldaten mit einfachen Werkzeugen für Querschnittsdaten (z. B. Pooled-Regression) zu analysieren. Auf Paneldaten zugeschnittene Analyseverfahren können hingegen kausalen Effekten näherkommen, insbesondere über verbesserte Möglichkeiten zur Drittvariablenkontrolle. Dabei hat sich die Fixed-Effects-Regression aufgrund ihrer Stärke, Effekte zeitkonstanter Anteile von unbekannten Drittvariablen herauszurechnen, als Standard etabliert. Paneldaten können auch dazu genutzt werden, zeitliche Dynamiken zu analysieren, was letztlich ebenfalls dazu dienen soll, komplexe kausale Prozesse wenigstens ansatzweise nachzuzeichnen. Hierbei sind dynamische Panelmodelle und Wachstumskurvenmodelle als zwei etablierte Modellklassen zu nennen. In neueren Arbeiten wird u. a. der Versuch unternommen, die Vorteile solcher Modellklassen sowie der Stärken der Fixed-Effects-Regression in kombinierten Modellierungsansätzen zu vereinen (z. B. Latent Curve Model with Structured Residuals). In diesem Beitrag werden solche Ansätze mit Blick auf die Frage, welchen Mehrwert sie für Analysen kausaler Hypothesen in der Soziologie haben, vorgestellt. Es wird auch diskutiert, welche Herausforderungen aus der teils hohen Komplexität dieser Modelle für inhaltlich arbeitende Anwender*innen resultiert. Intersubjektive Nachvollziehbarkeit und Transparenz bei der Modellierung komplexer Zusammenhangsstrukturen auf Basis von Paneldaten Universität Duisburg-Essen, Deutschland Ausgehend von einer analytisch-empirischen Perspektive bemühen sich jüngere Publikationen um die Entwicklung von fachintegrativen Gütekriterien zur Beurteilung hochwertiger sozialwissenschaftlicher Forschung (Otte et al., 2023; Otte et al., 2024). Auch wenn derartige paradigmenübergreifende Qualitätsdiskurse erst am Anfang stehen, deutet sich ein Konsens zu zwei zentralen Gütekriterien an. Demnach sollte sozialwissenschaftliche Forschung erstens über den gesamten Forschungsprozess intersubjektiv nachvollziehbar sein, um kritisch überprüfbar zu bleiben. Zweitens sollte sich qualitativ hochwertige Forschung stets mit dem existierenden Forschungsstand auseinandersetzen und am „state of the art“ anknüpfen (Otte et al., 2023, S. 31; Erhard & Schäfer, 2024, 90ff.). Inwiefern beide Kriterien quantitativ orientierte empirische Sozialforschung vor Herausforderungen stellen, wird im Kontext der Methodenforschung zu Panelmodellierungen und deren Anwendungen augenscheinlich. So handelt sich um ein dynamisches Feld, welches in den vergangenen Jahrzehnten diverse Modellierungsansätze zur Abbildung komplexer theoretischer Zusammenhangsstrukturen auf Basis von Längsschnittdaten hervorgebracht hat. Solche Ansätze, wie beispielsweise das Latent Curve Model with Structured Residuals (LCM-SR, Curran et al., 2014) oder das Generalized Cross-Lagged Panel Model (Zyphur et al., 2020), sind in der einschlägigen Methodenliteratur zwar präzise beschrieben und auch anwendungsbezogen illustriert. Die Komplexität der Modelle führt in der Praxis jedoch häufig dazu, dass die Entscheidung für eine spezifische Modellvariante unklar bleibt und deren Spezifikationen individuell, gleichzeitig aber wenig transparent ausfallen. Anhand eines LCM-SR zur Analyse gesundheitlicher Ungleichheiten im Lebensverlauf und im Kohortenvergleich auf Basis von Daten des Sozio-oekonomischen Panels (Frohn, 2025) illustriert der Beitrag einerseits typische Fallstricke in der Auswahl und Anwendung komplexer Panelmodelle, die eine intersubjektive Nachvollziehbarkeit und Transparenz des Forschungsprozesses erschweren können. Andererseits wird mit einem Fokus auf die theoretische Herleitung des LCM-SR, die Modellspezifikation, die Modellbildungsstrategie, die Programmierung des Modells und die Ergebnispräsentation diskutiert, wie diese Schwierigkeiten überwunden werden können. Der Zusammenhang zwischen allgemeiner Lebenszufriedenheit und rechtspopulistischen Einstellungen: Eine kausale Analyse mit fortgeschrittenen Panelmodellen Universität Duisburg-Essen, Deutschland In Zeiten gesellschaftlicher Transitionen gewinnt die Frage nach den Ursachen für die Entstehung demokratiefeindlicher Einstellungen und die wachsende Zustimmung rechtspopulistischer Parteien an Bedeutung. Während die Forschung zu den Treibern von Populismus oft auf kollektive Faktoren wie gesellschaftsbezogene Unzufriedenheit oder Benachteiligung auf Gruppenebene fokussiert, wird zunehmend auch die selbstbezogene (Un-)Zufriedenheit in den Blick genommen. So zeigen Studien einen Zusammenhang zwischen der Lebenszufriedenheit und politischen Präferenzen (z. B. für rechtspopulistische Parteien) auf (Nowakowski 2021; Lindholm & Rapeli 2023; Lindholm, Lutz & Green 2024; Adena & Huck 2024), jedoch bleibt die kausale Richtung dieser Beziehung unklar. Diese Studie untersucht daher, inwiefern die allgemeine Lebenszufriedenheit die Entstehung (rechts-)populistischer Einstellungen beeinflusst und umgekehrt welchen Einfluss politische Einstellungen oder Entscheidungen auf die Lebenszufriedenheit haben. Dafür wird auf fortgeschrittene Panelmodelle wie das Random Intercept Cross-Lagged Panel Model (RI-CLPM) und das Latent Curve Model with Structured Residuals (LCM-SR) zurückgegriffen, die es ermöglichen, umgekehrte Kausalität zu berücksichtigen, intraindividuelle Veränderungen über die Zeit zu isolieren und komplexe dynamische Zusammenhänge zu modellieren. Literatur: Adena, M., & Huck, S. (2024). Support for a right-wing populist party and subjective well-being: Experimental and survey evidence from Germany. PLoS ONE, 19(6): e0303133. https://doi.org/10.1371/journal.pone.0303133. Lindholm, A., Lutz, G., & Green, E. G. T. (2024). Life Dissatisfaction and the Right-Wing Populist Vote: Evidence from the European Social Survey. American Behavioral Scientist, 69(5): 604-624. https://doi.org/10.1177/00027642241240334 (Original work published 2025). Lindholm A., & Rapeli, L. (2023). Is the unhappy citizen a populist citizen? Linking subjective well-being to populist and nativist attitudes. European Political Science Review, 15(3): 465-481. https://doi.org/10.1017/S1755773922000583. Nowakowski, A. (2021). Do unhappy citizens vote for populism?. European Journal of Political Economy, 68. https://doi.org/10.1016/j.ejpoleco.2020.101985. Exploring Unobserved Processes and Latent Change in Panel-Data: An Application of Latent Transition Analysis Universität Duisburg-Essen, Deutschland Research in the Social Sciences is often concerned with the events, changes and processes that occur in the life courses of individuals, or that take place in groups and organizations over time. With cross-sectional data, we are restricted to analyzing the associations between an outcome having occurred in the past and some other variables, and we theorize about causal mechanisms between our independent variables and our outcome of interest being brought into being. With panel data, we can take a step further, by looking at the manifestations of independent variables and their associations with the occurrences of events and changes over time, and attempting to isolate them, reducing the influence of unobserved confounding variables, and getting us closer to the ideal of uncovering causal mechanisms. Sometimes, however, it is the events and changes in which we are interested themselves that remain unobserved in our data. Specialized methods are then required to uncover these hidden processes and bring them to light. Latent transition analysis provides one such method, by extending latent class analysis, a method that allows us to explore unobserved groups in data, to a panel model. Using this method, latent groups can be modelled in panel data, as well as the transitions between these groups over time, as well as the variables that cause these latent transitions to occur. In this presentation, latent transition analysis will be discussed, as well as an application with the German Mobility Panel, to demonstrate the usefulness of this methodology. |