Veranstaltungsprogramm

This study tests whether differences in data quality can be found among three modes of standardized survey research with medium-sized groups of adolescents (12-17 years). Data basis is a quasi-experimental survey study testing different forms of digital, hybrid, or in-person supervision, that took place in 2021 in secondary schools in Germany (N=923). While dropout rates do not differ, item non-response, interview duration, and response patterns differ significantly, students supervised at home by external interviewers answered more questions, took more time to answer, and were less likely to give potentially meaningless answers in grid questions. The implications drawn from the findings question the common approach to solely rely on teachers for survey administration without the support of external supervisors or adequate training. Recruiting respondents via schools and surveying them online in their homes during school hours has shown to be a robust method with regard to the analyzed indicators.

Die Studie diskutiert und testet empirisch, ob Unterschiede in der Datenqualität zwischen drei Arten standardisierter Umfragen mit mittelgroßen Gruppen von Jugendlichen (12-17 Jahre) festgestellt werden können. Datengrundlage ist eine quasi-experimentelle Umfrage, in der verschiedene Formen der digitalen, hybriden oder persönlichen Betreuung getestet wurden, die 2021 an weiterführenden Schulen in Deutschland stattfand (N=923). Während sich die Abbrecherquoten nicht unterscheiden, gibt es bei der Item-Non-Response, der Interviewdauer und den Antwortmustern erhebliche Unterschiede. Schüler, die zu Hause von externen Interviewern befragt wurden, beantworteten mehr Fragen, nahmen sich mehr Zeit für die Beantwortung und gaben bei Itembatterien seltener potenziell bedeutungslose Antworten. Die aus den Ergebnissen gezogenen Schlussfolgerungen stellen den gängigen Ansatz in Frage, sich bei der Durchführung von Umfragen ausschließlich auf Lehrende zu verlassen, ohne die Unterstützung externer Aufsichtspersonen. Die Rekrutierung von Befragten über Schulen und Online-Befragungen zu Hause während der Schulzeit hat sich im Hinblick auf die analysierten Indikatoren dennoch als robuste Methode erwiesen

Die Digitalisierung und der breite Zugang zum Internet haben dazu geführt, dass Menschen einen digitalen Abdruck, in Form von bspw. Digitalen Verhaltensdaten und Meta-Daten hinterlassen (Trübner & Mühlichen, 2019). Dies zeigt sich besonders auf Social Media Plattformen, wo Individuen Netzwerke aufbauen, kommunizieren und Informationen teilen (Leitgöb et al., 2023; Trübner & Mühlichen, 2019). Um diese Masse an Daten zu analysieren, reichen die traditionellen Analyse Tool der quantitativen Sozialforschung nicht aus und es benötigt Methoden aus den Computerwissenschaften/Data Science (Garip & Macy, 2023; Thimm & Nehls, 2019). Aber welche Stolperfallen könnten diese Verfahren liegen?

Diese Arbeit evaluiert die Leistung von Machine Learning-Methoden (ML) durch die Anwendung verschiedener Analysemethoden wie Topic Modeling, supervised und unsupervised Machine Learning sowie Sentiment-Analysen. Ziel ist es, die Fähigkeit dieser Methoden, komplexe Datenprotokolle zu analysieren, zu überprüfen und die Vorteile und Grenzen dieser Ansätze zu diskutieren. Die Datengrundlage besteht aus Transkripten von Voice-Chats verschiedener League of Legends E-Sport-Teams. Zusätzlich werden einige Meta-Informationen über die Teamkonstellation, sowie Fakten über das Match selbst (Sieg/Niederlage) mittels eines Fragebogens erhoben und an die jeweiligen Transkripte geknüpft. Es wird anschließend folgender Fragestellung nachgegangen: Wie können die genannten Methoden auf Voice-Chats angewendet werden, um bestimmte Aspekte der Teamkommunikation und Gruppendynamik zu analysieren? Mögliche Erkenntnisse aus den Analysen können Kommunikationsmuster, Veränderungen der Gruppendynamik in einem Wettbewerbsumfeld und Emotionen sein.

Das Likert-Format ist trotz bekannter Schwächen (z. B. Akquieszenz) die in den Sozialwissenschaften wohl am weitesten verbreitete Methode, um Einstellungen zu messen. . Das itemspezifische Fragenformat (IS) stellt eine Alternative zum Likert-Format dar und umgeht einige Nachteile, indem der interessierende Faktor selbst skaliert wird (z. B. „überhaupt nicht stolz“ bis „sehr stolz“). Beide Fragenformate werden dabei klassischerweise über Antwortkategorien erfragt. Eine Alternative zu Antwortkategorien stellt die visuelle Analogskala (VAS) dar – eine endpunktbenannte, kontinuierliche Linie auf der Befragte entsprechend ihrer Merkmalsausprägung eine Markierung setzen können. Sie erlaubt eine deutlich kleinstufigere Erfassung des Merkmals, ohne dabei mehr Platz zur Darstellung zu benötigen.

Im Rahmen einer Onlinestudie haben Studierende in einem 2 x (Fragenformate, Likert vs. IS) 2 x (Antwortformate, 5 Kategorien vs. VAS) 2 (Messinstrumente, AMS-R vs. ZeS) within- und between-subject Design jeweils beide Messinstrumente (AMS-R, ZeS) in unterschiedlichen Fragendesign-Kombinationen erhalten. Anschließend wurden die zuvor gesehenen Fragendesigns bildlich gegenübergestellt und hinsichtlich allgemeiner Präferenz sowie ausgewählter Kriterien (z. B. Einfachheit, Vertrautheit) von den Befragten bewertet.

Die Ergebnisse der Studie ermöglichen es einerseits zu untersuchen, inwiefern Veränderungen des Fragen- und Antwortformats die Skalenreliabilität und -validität beeinflussen und andererseits, ob ein Fragendesign präferiert wird und wie sich dies auf das Antwortverhalten auswirkt.

Die Gewinnung von Jugendlichen für eine duale Ausbildung ist ein entscheidender Faktor für eine langfristige Fachkräftesicherung. Trotz vielfältiger Maßnahmen zur Stärkung der dualen Ausbildung bestehen in vielen Regionen und Berufen weiterhin erhebliche Schwierigkeiten, Ausbildungsplätze zu besetzen (Weller et al. 2025) und Betrieben mangelt es an Bewerbungen (Ebbinghaus et al. 2023). Bislang, gibt es keine systematischen Informationen zum Stellenbesetzungsprozess von Ausbildungsberufen, mit denen die Problematik erforscht werden könnte.

Das Projekt „Kombinierte Ausbildungsstellenanzeigen und Inserierendenbefragung (KASI)“ schafft mit einer Verknüpfung von Prozess- und Surveydaten eine Datengrundlage, um diese Lücke zu schließen. Ziel des Projektes ist eine kontinuierliche Erhebung unter Ausbildungsstelleninserierenden zum Stellenbesetzungsprozess. Dafür werden Anbieter von Ausbildungsstellen aus aktuellen Online-Stellenanzeigendaten der Firma Textkernel identifiziert und kurz nach Inserierung durch eine CAWI- Erhebung u. a. zu Bewerbendenmerkmalen, Rekrutierungshemmnissen; Entscheidungskriterien befragt. Zwei follow-up Befragungen (zu Ausbildungsstart und -ende) sollen den Ausbildungsverlauf begleiten. Die E-Mailadressen für die CAWI-Erhebung werden aus Ausbildungsstellenanzeigen extrahiert. Parallel zur Befragung, werden Ausbildungsstellenanzeigen mit NLP-Methoden inhaltlich aufbereitet und analysiert um u. a. Informationen zum genauen Ausbildungsberuf, Anforderungen, Aufgaben und Interessen sowie betrieblichen Incentives zu gewinnen.

Der Vortrag präsentiert erste methodische Erkenntnisse aus der Pilotbefragung, welche vor Beginn des Ausbildungsjahrs 2025/26 sattgefunden hat. Hierunter fallen unter anderem das Potenzial von Stellenanzeigen bzw. Big-Data zur Generierung von Survey-Kontakten und Herausforderungen u. a. im Bereich Repräsentativität, Kausalität und Datenschutz, die mit der Erschließung des neuen Analysepotenzials zusammenhängen. Inhaltlich eröffnet die Verknüpfung der detaillierten Beschreibungen aus den Stellenanzeigen mit Surveydaten einen neuen Blick auf Erfolgsfaktoren und Hemmnisse bei der Ausbildungsstellenbesetzung, sowie Informationen zu Ansatzpunkten für ein besseres Matching von Ausbildungsstellen und -suchenden.

Data protection regulations in the EU and elsewhere give users the right to access the information online platforms hold about them. Data donation studies capitalize on this legal requirement by asking survey respondents to donate their data, typically within the context of surveys. Data donation studies offer a promising approach for collecting digital traces, but participation rates are often comparably low. Therefore, researchers have argued that survey design strategies could and should be used to increase participation rates.

In our study, we test three promising approaches to increase participation rates in data donation studies through various survey design strategies. To this end, we recruit approximately 2,000 participants from a German online access panel. We restrict the sample to people with an Instagram, LinkedIn, or YouTube account and ask participants to donate data from these platforms.

To test different strategies, we randomly manipulate

a) different study framings: here we invite potential study participants to a study framed (1) as a web survey, where we only mention an additional task related to digital platforms in passing, or (2) as a data donation study from the beginning.

b) different motivational appeals: One appeal emphasizes an internal motivational appeal (by informing participants about what they can learn about the data stored about them on a respective platform) while the other highlights an external motivational appeal (stressing the usefulness of such data for science and policy making).

c) different persuasion strategies: Participants who express their unwillingness to donate are asked to choose a reason from a pre-compiled list of possible reasons. Then, we provide one group with a targeted argument tailored to their stated reason, aiming to motivate them to reconsider their decision. A control group receives a random argument which was picked out of those not chosen by the respondent.

For all three design strategies, we analyse the effects on willingness to donate, actual data donation rates as well as on bias with respect to sample composition specifically regarding technical skills, frequency of platform usage, privacy concerns, and trust in a platform/science.

Schwer erreichbare, “versteckte” und marginalisierte Bevölkerungsgruppen wie Drogenabhängige, Sexarbeiter*innen oder ausreisepflichtige Migrant*innen sind in der Regel für die quantitative Forschung schwer zu erreichen. Gerade diese Gruppen sind jedoch häufig stark benachteiligt und exkludiert. Ein differenziertes Wissen über die Lebenssituation dieser Gruppen ist daher von besonderem Interesse für Wissenschaft, Zivilgesellschaft und Politik. Respondent-Driven Sampling (RDS) findet zunehmend Anwendung in den Sozialwissenschaften, um ebensolche schwer erreichbaren Zielgruppen zu befragen. Häufig wird versucht, diese ursprünglich analoge Methode in eine digitalisierte Form zu übertragen, jedoch existieren bisher kaum vollständig digitalisierte RDS-Erhebungen und es gibt wenig Erfahrungen hinsichtlich ihrer Umsetzung, den Herausforderungen und Potentialen.

Am BAMF-Forschungszentrum haben wir von Juni bis Dezember 2023 ein vollständig app-basiertes RDS durchgeführt, um die Im-/Mobilitätsabsichten von ausreisepflichtigen Menschen aus dem anglophonen Westafrika (Nigeria, Ghana, Gambia, Sierra Leone) zu erheben. Die App, die vollständig anonym genutzt werden konnte, beinhaltete alle notwendigen Elemente für die Durchführung eines RDS sowie eine Vignettenstudie zur Erhebung des sensitiven Themas “Verbleib und Rück-kehr”. Der Befragung ging ein umfangreiches, zehnmonatiges Formative Assessment voraus, das ethnographische Besuche und qualitative Interviews mit den „Seeds“ umfasste, die später als erste Befragte die App in die Zielgruppe weiterverbreiteten. Darüber hinaus wurden zum Vergleich 1.500 zufällig ausgewählte Personen aus unserer Zielgruppe aus dem Ausländerzentralregister gezogen und per Brief eingeladen, an der App-Umfrage teilzunehmen.

In diesem Beitrag reflektieren wir unsere innovative methodologische Herangehensweise und diskutieren anhand einer Analyse von Paradaten und den Erfahrungen aus dem Feld die Herausforderungen und Chancen eines app-basierten RDS. Dabei gehen wir auch auf die Rolle der vorbereitenden qualitativen Vorstudie ein. Weiterhin erörtern wir auf Basis unserer Ergebnisse das Potential von Umfrageexperimenten für die Befragung sensitiver Themen in schwer zu befragenden Bevölkerungsgruppen. Wir hoffen, damit zur erfolgreichen Durchführung zukünftiger digitaler Befragungen mit schwer erreichbaren Bevölkerungsgruppen beizutragen.