Neue Messkriterien für Zuverlässigkeit langer LLM-Agenten

Aktuelle Benchmarks bewerten vor allem die Fähigkeit eines Modells, bei einer einzigen Ausführung erfolgreich zu sein. In produktiven Umgebungen ist jedoch die Zuverlässigkeit entscheidend – das Modell muss bei wiederholten Versuchen und über längere Zeiträume hinweg konsistent funktionieren. Die Autoren zeigen, dass die Leistungsfähigkeit und die Zuverlässigkeit systematisch auseinanderdriften, sobald die Aufgabendauer zunimmt, und dass herkömmliche Kennzahlen wie pass@1 diese Divergenz nicht erfassen.

Um diesem Problem zu begegnen, stellen die Forscher ein „Reliability Science Framework“ für Langzeit-LLM-Agenten vor. Das Framework umfasst vier neue Metriken: die Reliability Decay Curve (RDC), den Variance Amplification Factor (VAF), den Graceful Degradation Score (GDS) und den Meltdown Onset Point (MOP). Jede dieser Kennzahlen misst einen anderen Aspekt der Zuverlässigkeit über längere Zeiträume.

Die Evaluation umfasste zehn verschiedene Modelle, die in 23 392 Episoden auf einem Benchmark mit 396 Aufgaben getestet wurden. Die Aufgaben wurden in vier Dauerklassen und drei Domänen (z. B. technische, dokumentenbezogene und andere) unterteilt, um die Robustheit über unterschiedliche Szenarien hinweg zu prüfen.

Die wichtigsten Ergebnisse sind: 1) Die Zuverlässigkeitsabnahme ist domänenspezifisch – bei SE sinkt der GDS von 0,90 auf 0,44, während bei der Dokumentenverarbeitung nahezu konstant bleibt (0,74–0,71). 2) Der VAF trennt sich nach Fähigkeitsstufen; ein hoher VAF ist ein Merkmal hoher Kapazität, nicht ein Instabilitätssignal. 3) Die Ranglisten für Fähigkeit und Zuverlässigkeit unterscheiden sich stark, insbesondere bei langen Aufgaben. 4) Die fortschrittlichsten Modelle weisen die höchsten Meltdown-Raten (bis zu 19 %) auf, weil sie ambitionierte Mehrschrittstrategien einsetzen, die manchmal außer Kontrolle geraten. 5) Memory‑Scaffolds schaden der Langzeitleistung bei allen zehn Modellen.

Diese Erkenntnisse unterstreichen, dass Zuverlässigkeit neben der reinen Leistungsfähigkeit als eigenständige Bewertungsdimension betrachtet werden muss, um LLM-Agenten für reale Anwendungen fit zu machen.