Neue Methode: Proxy-State-Bewertung für skalierbare, überprüfbare LLM-Agenten

In der Praxis kommen interaktive Sprachmodelle immer häufiger als Agenten zum Einsatz, die über mehrfache Dialogschritte hinweg komplexe Werkzeuge ansteuern. Damit diese Agenten zuverlässig miteinander verglichen werden können und gleichzeitig wertvolle Trainingsdaten liefern, sind robuste Benchmarks unerlässlich. Traditionelle Tests wie tau-bench oder AppWorld setzen auf vollständig deterministische Datenbanken – ein Ansatz, der teuer und schwer zu warten ist.

Die neue Proxy State‑Based Evaluation löst dieses Problem elegant: Sie simuliert die Interaktion mithilfe eines LLM‑gestützten Zustandsverfolgers, der aus dem gesamten Gesprächsverlauf einen strukturierten „Proxy‑Zustand“ ableitet. Auf dieser Basis prüfen LLM‑Richter, ob das Ziel erreicht wurde und ob der Agent oder die Nutzerhalluzinationen erzeugt hat. So bleibt die Bewertung auf dem Endzustand, ohne dass eine aufwändige deterministische Backend‑Infrastruktur nötig ist.

Experimentelle Ergebnisse zeigen, dass das Benchmarking stabile, modellunabhängige Ranglisten liefert und sowohl On‑ als auch Off‑Policy‑Rollouts als Lernmaterial für unbekannte Szenarien dienen. Durch sorgfältige Szenario‑Definitionen lassen sich Halluzinationen nahezu ausschließen, und Sensitivitätsanalysen über unterschiedliche Nutzerprofile sind problemlos möglich.

Ein besonders überzeugendes Ergebnis ist die Übereinstimmung zwischen menschlichen und LLM‑Richtern, die über 90 % beträgt – ein klares Indiz für die Zuverlässigkeit der automatisierten Bewertung. Insgesamt bietet die Proxy‑State‑Based Evaluation eine praktikable, skalierbare Alternative zu herkömmlichen, deterministischen Benchmarks und ist damit ein wichtiger Schritt für die Weiterentwicklung industrieller LLM‑Agenten.