Neues Verfahren verbessert automatisierte Bewertung mit LLMs

In der automatisierten Bewertung von Texten mit großen Sprachmodellen (LLMs) ist die Erstellung präziser Bewertungsrichtlinien entscheidend. Traditionell erfolgt diese Aufgabe manuell, was fehleranfällig ist, weil LLMs Expertenrichtlinien oft falsch interpretieren oder nicht genügend domänenspezifische Details erfassen.

Aktuelle Optimierungsansätze bündeln sämtliche Fehler in einem einzigen Update-Schritt. Dadurch entstehen widersprüchliche Regeln, die die Logik des Modells verwässern – ein Phänomen, das als „Rule Dilution“ bezeichnet wird.

Das neue Framework Confusion‑Aware Rubric Optimization (CARO) löst dieses Problem, indem es die Fehler anhand einer Konfusionsmatrix in einzelne Modi zerlegt. Jeder Modus wird separat diagnostiziert und korrigiert, wodurch gezielte „Fix‑Patches“ für die häufigsten Fehlklassifikationen erstellt werden.

CARO kombiniert diese gezielten Reparaturen mit einer diversitätsbewussten Auswahl, die Konflikte zwischen den Richtlinien verhindert. Dadurch entfällt die Notwendigkeit ressourcenintensiver verschachtelter Optimierungszyklen.

Experimentelle Tests an Datensätzen aus der Lehrerbildung und im STEM-Bereich zeigen, dass CARO die bestehenden Spitzenleistungen deutlich übertrifft. Die Ergebnisse deuten darauf hin, dass eine modusspezifische Fehlerbehandlung die Skalierbarkeit und Genauigkeit automatisierter Bewertungen nachhaltig verbessert.