Intuition zu Expertise: Rubrikbasierte Kalibrierung zur Erkennung LLM-Koreanisch

Die Unterscheidung von menschlich verfasstem Koreanisch und von großen Sprachmodellen (LLM) erzeugtem Text bleibt auch für sprachlich geschulte Leser eine Herausforderung. In einer neu veröffentlichten Studie wurde untersucht, ob die Fähigkeit zur Erkennung von LLM-Texten als erlernbare Kompetenz betrachtet und durch gezielte Kalibrierung verbessert werden kann.

Die Forscher entwickelten LREAD, eine Rubrik, die sich an den nationalen koreanischen Schreibstandards orientiert und gezielt Mikro‑Artefakte wie Interpunktion, Leerzeichenverhalten und Registerwechsel anspricht. In einem dreiphasigen, longitudinalen Blindstudienprotokoll nahmen Koreanistik‑Studenten teil: Phase 1 testete die reine Intuition, Phase 2 verlangte die Bewertung anhand klarer Kriterien mit Begründungen, und Phase 3 prüfte das erworbene Wissen anhand neuer, einfacher Aufsätze.

Die Ergebnisse sind beeindruckend: Die Mehrheitsentscheidungen stiegen von 60 % in Phase 1 auf 100 % in Phase 3, während die Inter‑Rater‑Übereinstimmung von einem Fleiss‑Kappa von –0,09 auf 0,82 anstieg. Im Vergleich zu aktuellen automatisierten Detektoren setzten die kalibrierten Menschen stärker auf sprachspezifische Mikro‑Diagnostiken, die von den Modellen oft übersehen werden.

Die Studie unterstreicht, dass eine rubrikbasierte Schulung Expertenentscheidungen transparent und interpretierbar macht und damit eine wertvolle Ergänzung zu automatisierten Erkennungssystemen darstellt – besonders in nicht‑englischen Kontexten. Das vollständige Rubrik‑Set und eine Taxonomie der kalibrierten Erkennungs­signaturen werden den Forschern zur Verfügung gestellt.