Neues Maß für Kürze: LLM‑Antworten ohne Referenz bewerten

Moderne Sprachmodelle liefern häufig lange, ausschweifende Antworten, die Klarheit mindern und die Nutzerzufriedenheit senken. Gleichzeitig steigen die Kosten für Entwickler, wenn die Modelle nach der Anzahl der ausgegebenen Tokens abgerechnet werden.

Um diesem Problem entgegenzuwirken, stellt die aktuelle Studie ein völlig neues, referenzloses Messinstrument vor, das die Kürze von LLM‑Antworten bewertet. Das Verfahren quantifiziert überflüssige Inhalte, ohne auf Gold‑Standard‑Referenzen angewiesen zu sein.

Der Ansatz kombiniert drei unabhängige Kompressionen: Erstens das Verhältnis zwischen der Originalantwort und einer abstrakten Zusammenfassung, die von einem LLM erstellt wird. Zweitens das Verhältnis zur extraktiven Zusammenfassung, die nur wichtige Sätze beibehält. Drittens die „Word‑Removal“-Kompression, bei der ein LLM so viele nicht‑wesentliche Wörter wie möglich entfernt, während die Bedeutung erhalten bleibt. Die Anzahl der entfernten Tokens bildet den endgültigen Kürzungswert.

Experimentelle Ergebnisse zeigen, dass die neue Metrik zuverlässig Redundanzen in LLM‑Ausgaben erkennt. Damit bietet sie ein praktisches Werkzeug für die automatisierte Bewertung der Prägnanz in Konversations‑KI-Systemen, ohne dass menschliche Annotationsdaten erforderlich sind.