29th Annual Conference of DeGEval
Evaluation and Time
September 23–25, 2026 | Frankfurt am Main, Germany
Conference Agenda
Overview and details of the sessions of this conference. Please select a date or location to show only sessions at that day or location. Please select a single session for detailed view (with abstracts and downloads if available).
|
Daily Overview |
| Session | |
C2: Zeitaspekte in (quasi-) experimentellen und Mixed-Methods Designs
Session Topics: Einreichung zum Tagungsthema, 1.4 Forschungs-, Technologie- und Innovationspolitik (AK), 1.6 Gesundheitswesen (AK), 2.1.1 Mixed Methods, 3.7 Standards der Evaluation und ethische Fragen, 3.9 Sonstige übergreifende Themen der Evaluation
| |
| Session Abstract | |
|
In dieser Session versammeln sich drei Beiträge mit Erhebungen und Auswertungen im Mixed Methods Design, von denen zwei auch (quasi-)experimentell arbeiten. Inhaltlich reicht das Spektrum von (der Evaluation der) Rehabilitationsmaßnahmen bei Hirnschädigungen, über Unterstützungsmaßnahmen zur Bewältigung des technologischen Wandels durch das Handwerk, bis hin zur Gesundheitsförderung von sozial benachteiligten Bevölkerungsgruppen. Um Zeit geht es als Ressource für Evaluationen, wie auch als deren Erfolgskriterium. | |
| Presentations | |
Erprobung einer innovativen Komplexleistung zur bedarfsfokussierten Teilhabe am Arbeitsleben für Menschen mit erworbenen Hirnschädigungen: Der Faktor Zeit als Chance in der Rehabilitation und Herausforderung für die Evaluation Institut für Technologie und Arbeit e.V., Deutschland Menschen nach einer erworbenen Hirnschädigung bei der Rückkehr an den Arbeitsplatz zu unterstützen, bedarf eines komplexen Zusammenspiels verschiedener Akteure der Rehabilitation sowie bedarfsorientierter Teilhabeleistungen in einem zumindest mehrmonatigen Prozess. Diese Komplexleistung kann sich über mehrere Monate erstrecken und der Nachweis der Wirksamkeit erfordert einen ebenso komplexen Evaluationsansatz. Das rehapro Projekt BETA-MeH („Bedarfsfokussierte Teilhabe am Arbeitsleben für Menschen mit erworbenen Hirnschädigungen“) widmet sich diesem Auftrag. Die Feldstudie ist als randomisiertes Kontrollgruppendesign mit mehreren Messzeitpunkten konzipiert. Das Projekt BETA-MeH wird gefördert durch das Bundesministerium für Arbeit und Soziales (BMAS) im Bundesprogramm „Innovative Wege zur Teilhabe am Arbeitsleben – rehapro“ (Laufzeit: 01.11.2021 - 31.10.2026). Zeit spielt in diesem Vorhaben auf unterschiedlichen Ebenen eine Rolle: Auch in dieser Längsschnittstudie ist die Zeit eine methodische Herausforderung, was durch die Dauer der hier zu erprobenden Intervention von maximal 12 Monaten mit einer nachgehenden Begleitung von weiteren 6 Monaten noch verstärkt wird. Ergebnisse der Studie zeigen: Der Return to Work (RTW) erfolgt bei Rehabilitand:innen der Regelversorgung (Kontrollgruppe) im Durchschnitt zwar früher als bei denen der Interventionsgruppe. Der Faktor Zeit als Erfolgskriterium erweist sich bei genauerer Betrachtung aber als zu kurz gegriffen, denn die Rehabilitand:innen der Regelversorgung verzeichnen nach einem Jahr ab Beginn der Studie schlechtere Werte im Bereich der Lebensqualität. Zeit als Erfolgskriterium ist demnach sehr differenziert zu betrachten und kann als alleinige Dimension nicht ausreichen. Gleichzeitig ist Zeit als indirekter Wirkfaktor bedeutend, wenn es um die Gestaltung des individuellen Interventionsprozesses geht, wie Ergebnisse qualitativer Interviews mit Betroffenen und Rehabilitionsbegleiter:innen zeigen (z.B. der richtige Zeitpunkt zur Einbindung des Arbeitgebers oder Aufbau von Vertrauen zu Rehabilitionsbegleiter:innen). Auch in BETA-MeH besteht die Herausforderung, nicht ausreichend Zeit zur Überprüfung langfristiger Effekte zu haben. Möglich sind prognostische Modellrechnungen. Zeit im Kontext der Evaluation ist damit eine begrenzte, zu kompensierende Ressource. Wie im Rahmen des Forschungsprojektes mit diesen Aspekten von Zeit umgegangen wird und welche Erkenntnisse sich daraus ergeben, wird der Beitrag aufzeigen. Den Wandel der Zeit begleiten: Evaluation von Maßnahmen zur Unterstützung des Handwerks beim Umgang mit den Herausforderungen des technologischen Wandels VDI/VDE-IT, Deutschland Die Initiative „Horizont Handwerk“ des Landes Baden-Württemberg unterstützt Handwerksbetriebe bei der Bewältigung struktureller und technologischer Transformationsprozesse. Ziel ist es, die Zukunftsfähigkeit der rund 140.000 Handwerksunternehmen mit etwa 800.000 Beschäftigten in Baden-Württemberg zu stärken. Im Mittelpunkt stehen dabei die Handlungsfelder Fachkräftesicherung, strategische Transformation, Digitalisierung sowie Nachhaltigkeit und Energiewende. Der Beitrag stellt insbesondere die methodische Herangehensweise der Evaluation der Initiative vor. Im Fokus steht die Frage, wie Wirkungen eines Förderprogramms in einem Umfeld erfasst werden können, das zugleich von allgemeinen wirtschaftlichen und gesellschaftlichen Veränderungsprozessen geprägt ist. Hierzu wurde als Teil des Methodenmixes ein quasi-experimentelles Evaluationsdesign umgesetzt, das teilnehmende und nicht-teilnehmende Betriebe vergleichend betrachtet. Dabei stehen die Zukunftserwartungen im Vordergrund. Ziel des Ansatzes ist es, erwartete allgemeine zeitliche Veränderungseffekte – etwa aufgrund konjunktureller Entwicklungen – von den spezifischen Programmeffekten möglichst zu isolieren. Spannend ist der Beitrag auch vor dem Hintergrund eines vermeindlichen „Henne-Ei-Problems“. Insbesondere die Frage, inwiefern positive Zukunftserwartungen auf die Teilnahme an der Initiative zurückzuführen sind oder ob eher bereits transformationsorientierte Betriebe an entsprechenden Unterstützungsangeboten lässt sich hier stellen. Die bisherigen Erkenntnisse der Evaluation lassen jedoch nicht den Schluss zu, dass es vordergründig die Unternehmen mit positiven Zukunftserwartungen sind, die an der Maßnahme teilnehmen. Denn mit der Teilnahme an der Maßnahme sind Oportunitätskosten verbunden. Je stärker Handwerksbetriebe nachgefragt sind, desto positiver sind die Aussichten des Betriebs und desto höher sind die Oportunitätskosten der Teilnahme an der Initiative. Dies führt zu einer Konterkarierung des unterstellten Effekts. Vorgestellt werden die eingesetzten Evaluationsmethoden sowie deren Potenziale und Grenzen bei der Analyse von Transformationsprozessen im Handwerk. Die Ergebnisse der Evaluation zeigen, dass die Initiative für die teilnehmenden Handwerksbetriebe von hoher Relevanz ist und insbesondere hinsichtlich der Wahrnehmung zukünftiger Herausforderungen positive Impulse setzt. Der Beitrag ordnet die Ergebnisse in die Diskussion um die Evaluation staatlicher Transformations- und Unterstützungsprogramme ein. Notwendigkeit und Herausforderung eines Mixed-Methods-Ansatzes zur Erklärung soziallagenabhängiger gesundheitsbezogener Lebensrealitäten 1: Hochschule für Angewandte Wissenschaften Hamburg (HAW Hamburg), Deutschland; 2: Med. Fakultät, Otto-von-Guericke-Universität Magdeburg Problemstellung Gesundheitsförderung erreicht sozial benachteiligte Bevölkerungsgruppen schlecht bzw. schlechter als besser gestellte Gruppen. Das Innovationsfondsprojekt (des G-BA, FKZ: 01VSF22038) Gesunde Quartiere 2.0 greift diese Thematik mit einem multidisziplinären Design insofern auf, da eine gezielte Berücksichtigung sozialer Lebenslagen notwendig ist, um gesundheitlichen, gesellschaftlichen und ökonomischen Mehrwert im Sinne einer nachhaltigen und gerechten Gesundheitsförderung zu schaffen. Voraussetzung dafür ist es, den Status quo systematisch zu evaluieren, um zu verstehen, an welchen Punkten angesetzt werden kann. Vorgehen Unterschiedliche Datenzugänge und -quellen (reaktiv und nonreaktiv quantitativ, qualitativ, kontextuell-raumbezogen) wurden erschlossen und soziallagendifferenziert ausgewertet. Als Proxy für die individuelle Soziallage wird der Sozialindikator des jeweiligen Wohnquartiers - im Hamburger Sozialmonitoring definierte statistische Gebiete („Quartiere“) - herangezogen. Durch die Integration von kleinräumig, analog aufgelösten Befragungsdaten, Routinedaten der gesetzlichen Krankenversicherung sowie qualitativen Daten aus Community-Mappings und Fokusgruppen ließen sich weiterführende und vertiefende Hinweise zur konkreten Lebensrealität für die Fragestellung gewinnen. Informationen zu weiteren kontextuellen Faktoren (z.B. zu Versorgungsstrukturen, Umweltbelastungen) lieferten Geoinformationssysteme. Hauptargumente und Evaluationsfokus Die Ergebnisse werden spiralförmig integriert und iterativ trianguliert (Joint Display) und zeigen, dass die Limitationen der jeweiligen Datenzugänge verringert werden konnten. Deutlich wurde die Bedeutung von ressourcenorientierten, soziallagensensiblen Strategien, die durch die gezielte Gestaltung lebensweltlicher, umweltbezogener und gesellschaftlicher Bedingungen die gesundheitliche Chancengleichheit fördern kann. Methodische Herausforderung Derartiges multimodales Design erfordert im Vorfeld für jeden Datenzugang komplexe und zeitaufwändige methodische Vorarbeiten. Es müssen umfangreiche Feld- oder Datenlieferphasen durchlaufen werden, die dann jeweils mit unterschiedlicher Datenaufbereitung, -testung, -auswertung- und -interpretation einhergehen, wobei zudem zu berücksichtigen ist, dass zwischen den Zugängen Interdependenzen bestehen. Voraussetzung für ein derartiges Design sind ein über mehrere Jahre ausfinanziertes Budget und ein erfahrenes interdisziplinäres Team. | |