Mehr Zuverlässigkeit bei LLM-Annotation von Unterrichtsdiskursen mit Multi-Agenten

Large Language Models (LLMs) werden zunehmend als skalierbare Werkzeuge zur Annotation von Bildungsdaten eingesetzt. Sie können Unterrichtsdiskurse, Interaktionsprotokolle und qualitative Lernartefakte schnell zusammenfassen und rubric‑angereicherte Labels zuweisen, was die Kosten und den Zeitaufwand für menschliche Experten erheblich senken soll.

Allerdings zeigen neue Untersuchungen, dass ein einzelner LLM‑Durchlauf bei hochrelevanten Bildungskonstrukten – etwa bei der Bewertung von Unterrichtsabsichten oder Diskursbewegungen – noch unzuverlässig bleibt. Diese Diskrepanz zwischen Skalierbarkeit und Validität steht im Mittelpunkt der aktuellen Forschung in der Bildungsdatenwissenschaft.

Um diesem Problem zu begegnen, wurde ein hierarchisches, kostenbewusstes Orchestrierungsframework entwickelt. Es gliedert die Annotation in drei aufeinanderfolgende Phasen: Erstens ein unüberprüfter Ein‑Durchlauf, in dem die Modelle eigenständig Labels vergeben; zweitens eine Selbstverifikation, bei der jedes Modell seine Ausgabe gegen die Rubrikdefinitionen prüft und bei Unstimmigkeiten anpasst; und schließlich eine Diskussions‑ und Adjudikationsphase, in der ein unabhängiges Modell die geprüften Labels und Begründungen bewertet und das endgültige Label bestimmt.

Empirische Tests zeigen, dass dieser mehrstufige Ansatz die Zuverlässigkeit der Annotation deutlich erhöht, während er gleichzeitig die Rechenkosten transparent macht. Damit bietet die Methode einen vielversprechenden Kompromiss zwischen Effizienz und Genauigkeit und eröffnet neue Möglichkeiten für die Analyse von Unterrichtsdiskursen in großem Maßstab.