LLM‑Annotation verbessert Lernanalyse: Selbst‑ und Peer‑Verification steigert Zuverlässigkeit um 58 %

In einer neuen Studie aus dem arXiv‑Repository wird gezeigt, wie große Sprachmodelle (LLMs) die Qualität ihrer eigenen Annotationen von Lerninteraktionen deutlich erhöhen können. Durch gezielte Prüfungen – entweder selbstständig oder untereinander – lassen sich die Zuverlässigkeit und Genauigkeit der Codierung von Tutor‑Dialogen signifikant verbessern.

Die Forscher nutzten Transkripte von 30 Einzel‑Mathe‑Tutorien und setzten drei führende LLMs – GPT, Claude und Gemini – ein. Für jedes Modell wurden drei Annotations‑Modi getestet: unverifizierte Annotation, Selbst‑Verification (das Modell prüft seine eigenen Labels) und Cross‑Verification (ein anderes Modell auditieren die Annotationen). Die Ergebnisse wurden mit einer blinden, auf Diskrepanzen fokussierten menschlichen Adjudikation verglichen und mittels Cohen’s Kappa gemessen.

Die Ergebnisse sind beeindruckend: Die gesamte Orchestrierung führt zu einer 58‑Prozent‑Steigerung des Kappa‑Werts im Vergleich zur unverifizierten Basis. Selbst‑Verification verdoppelt nahezu die Übereinstimmung, insbesondere bei schwierigen Tutor‑Bewegungen. Cross‑Verification liefert durchschnittlich eine 37‑Prozent‑Verbesserung, wobei die Wirkung je nach Verifier‑Annotator‑Paar variiert – einige Paare übertreffen die Selbst‑Verification, andere zeigen weniger Alignment, was auf unterschiedliche Strenge der Prüfer zurückzuführen ist.

Die Autoren stellen drei wesentliche Beiträge vor: Erstens ein flexibles Orchestrierungs‑Framework, das Kontroll-, Selbst‑ und Cross‑Verification ermöglicht. Zweitens eine empirische Vergleichsstudie der neuesten LLMs auf authentischen Tutor‑Daten mit blinden „Gold“-Labels. Drittens eine kompakte Notation (z. B. Gemini(GPT) oder Claude(Claude)), die die Richtung der Verifikation explizit macht und die Replikation erleichtert.

Diese Arbeit unterstreicht, dass Verifikationsmechanismen ein entscheidender Schritt sind, um die Zuverlässigkeit von LLM‑gestützten Annotationen in der Lernanalyse zu erhöhen. Sie liefert sowohl praktische Werkzeuge als auch theoretische Grundlagen für zukünftige Forschungs- und Anwendungsprojekte im Bildungsbereich.