DIALEVAL: Automatisierte Typentheoretische Bewertung von LLM‑Anweisungen

Die Bewertung, wie gut große Sprachmodelle (LLMs) Befehle ausführen, ist bislang stark von manueller Annotation und einheitlichen Kriterien abhängig, die nicht immer mit menschlichen Urteilsweisen übereinstimmen. Mit dem neuen Ansatz DIALEVAL wird dieses Problem angegangen: Zwei LLM‑Agenten arbeiten zusammen, um Anweisungen in typisierte Prädikate zu zerlegen und dabei formale Atomaritäts‑ und Unabhängigkeitsregeln einzuhalten.

Der Rahmen nutzt unterschiedliche Bewertungskriterien je nach Prädikatstyp – semantische Äquivalenz für inhaltliche Prädikate und exakte Präzision für numerische Prädikate – und spiegelt so die empirisch beobachteten Muster menschlicher Beurteilungen wider. Durch die Erweiterung auf mehrtägige Dialoge mit kontextsensitiven Zufriedenheitsfunktionen kann DIALEVAL auch in Gesprächsszenarien eingesetzt werden, wo herkömmliche Einzelturn-Methoden versagen.

In Validierungsstudien erreichte DIALEVAL eine Genauigkeit von 90,38 % und verringerte die Fehlerquote um 26,45 % im Vergleich zu bestehenden Baselines. Zudem zeigte sich eine deutlich stärkere Korrelation mit menschlichen Bewertungen, insbesondere bei komplexen Anweisungen. Der Ansatz bietet damit einen vielversprechenden Schritt hin zu automatisierten, zuverlässigen und menschlich ausgerichteten Evaluationsmethoden für LLM‑Anweisungsbefolgung.