Qualitative Evaluationen sind zeitaufwändig. Für zehn Kurzinterviews, kategorienbasierte Analyse und Ergebnisbericht fielen in einer publizierten Studie rund 100 Arbeitsstunden an (Kuckartz et al., 2007). Können Large Language Models (LLMs) hier vergleichbare Effizienzgewinne erzielen wie die KI-gestützte Spracherkennung bei der Transkription? Und was bedeutet diese Zeitverschiebung für Güte, Verantwortbarkeit und für die Frage, was bei der Auswertung überhaupt menschliche Aufgabe bleibt?

Als Testfall diente die Reanalyse von Kuckartz et al. (2007); der Referent war Co-Autor der Originalstudie. Die zehn Originalinterviews wurden ausschließlich lokal verarbeitet, für cloudbasierte Tests kamen synthetische Interviews zum Einsatz. Erprobt wurden u.a. Absatznummerierung zur Zitatverankerung, sequenzielle Analyseschritte, Gegenprüfung durch ein zweites LLM und Promptoptimierung über viele Iterationen. Diese Elemente wurden mit KI-gestützten Programmierwerkzeugen ohne Programmierkenntnisse in eine App überführt, mit dem Ziel, den Prozess teilautonom mit lokalen LLMs auf dem eigenen Rechner auszuführen. Die generierten Ausgaben sind dem Original inhaltlich ähnlich; Quellenangaben und ihre inhaltliche Zuordnung sind oft, aber nie vollkommen korrekt.

Sowohl dieser selbst entwickelte Weg als auch viele aktuell verfügbare Tools liefern auf den ersten Blick häufig überraschend plausible Ausgaben. So stellt sich verständlicherweise die Frage, ob und wann sich das gegenstandsangemessen und produktiv nutzen lässt. Dafür lohnt es sich, einen Blick auf einige der Herausforderungen zu werfen, denen ich begegnet bin und die zumindest in weiten Teilen übertragbar sein dürften. Die schwierigsten Fragen sind vermutlich nicht technischer und nicht einmal nur methodischer Natur. Sie sind zum einen methodologisch: was zählt als gültige Deutung, als Fehler, als Prüfung, zum anderen praktische Fragen der Urteilskraft, der Relevanz und der Verantwortung. Wer legt fest, wie eine „gute" Fallzusammenfassung aussieht oder wie induktiv Themen herausgearbeitet, beschrieben und dargestellt werden, wenn die Methodenliteratur dazu keine kleinteiligen Vorgaben macht, ich diese Festlegung aber über meine Prompts faktisch selbst treffe, oder Toolhersteller für mich getroffen haben? Wie gehe ich damit um, dass selbst vermeintlich sinnvoll formulierte Prompts ein LLM nicht zuverlässig dazu bringen, genau diesen Vorgaben zu folgen? Wie kann ich Deutungsfehler und ihre Relevanz erkennen und einschätzen? Was heißt überhaupt eine ernsthafte Prüfung der Ausgaben? Die Formel „human-in-the-loop" bzw. „der Mensch prüft das Ergebnis" ist schnell gesagt, doch wo bleibt der Zeitvorteil, wenn diese Prüfung für einen Teil der Aspekte einem eigenen Materialdurchgang gleichkommt? Und wie kann ich für einen Befund einstehen, wenn aus denselben Daten je nach Prompt, Werkzeug oder Blickrichtung mehrere, gleichermaßen plausible, aber vielleicht in Teilen unterschiedliche Befunde entstehen, die ich nicht prüfe, weil schlicht die Zeit fehlt?

Diese Fragen berühren unmittelbar die DeGEval-Standards, allen voran Genauigkeit und Nachvollziehbarkeit. Mit dem Beitrag will ich aus meiner Erfahrung beides thematisieren. Zum einen vorläufige Ideen für eine technisch günstige Umsetzung und warum diese nicht nur wegen der DSGVO gegenüber fertigen Tools vorteilhaft sein kann. Zum anderen eine ganze Reihe von Herausforderungen des KI-Einsatzes, die mir beim Erproben erst nach und nach sichtbar wurden und größer ausfielen als erwartet.

Diese Fragen zu diskutieren, erste Ansätze für den Umgang mit ihnen zu teilen und die Spannung zwischen One-Click-Verfahren und verantwortbarem Befund sichtbarer zu machen, ist mein Anliegen. Es geht nicht darum, Bedenken zu zerstreuen oder fertige Lösungen anzubieten, sondern gemeinsam die Möglichkeiten und Herausforderungen differenzierter zu verstehen und einen Umgang damit zu suchen.