ReliabilityBench: Maßstab für Zuverlässigkeit von Agenten im Produktionsumfeld

ReliabilityBench ist ein brandneues Benchmark-Tool, das die Zuverlässigkeit von Large‑Language‑Model‑Agenten unter produktionsähnlichen Bedingungen systematisch bewertet. Es geht weit über die üblichen Ein‑Durchlauf‑Erfolgsraten hinaus und liefert ein umfassendes Bild der Stabilität und Robustheit von Agenten in realen Einsatzszenarien.

Das Benchmark unterscheidet drei zentrale Dimensionen: Erstens die Konsistenz bei wiederholten Ausführungen, gemessen mit der Kennzahl pass^k; zweitens die Widerstandsfähigkeit gegenüber semantisch äquivalenten Aufgabenstörungen, parametrisiert durch die Intensität ε; und drittens die Fehlertoleranz bei gezielten Tool‑ und API‑Ausfällen, definiert durch die Intensität λ. Diese drei Achsen bilden die Grundlage für die sogenannte „Reliability Surface“ R(k,ε,λ), die die Gesamtzuverlässigkeit eines Agenten in Abhängigkeit von allen drei Faktoren darstellt.

ReliabilityBench nutzt sogenannte „Action Metamorphic Relations“, um die Korrektheit eines Agenten nicht nur anhand von Textähnlichkeit, sondern anhand des Endzustands zu prüfen. Zusätzlich wird ein Chaos‑Engineering‑Stil‑Fault‑Injection‑Framework eingesetzt, das Timeout‑Einschränkungen, Rate‑Limits, teilweise Antworten und Schema‑Drift simuliert. Dadurch entstehen realistische Störbedingungen, die die Belastbarkeit eines Agenten auf die Probe stellen.

In einer umfangreichen Evaluation wurden zwei Modelle – Gemini 2.0 Flash und GPT‑4o – in Kombination mit den Agentenarchitekturen ReAct und Reflexion getestet. Die Tests erstreckten sich über vier Anwendungsdomänen (Scheduling, Travel, Customer Support, E‑Commerce) und umfassten 1 280 Episoden. Die Ergebnisse zeigen, dass reine Aufgabenstörungen die Erfolgsrate von 96,9 % bei ε=0 auf 88,1 % bei ε=0,2 senken. Unter den verschiedenen Fehlertests erwiesen sich Rate‑Limits als die schädlichste Störung. ReAct erwies sich als robuster als Reflexion, wenn mehrere Stressfaktoren gleichzeitig einsetzten. Interessanterweise erreicht Gemini 2.0 Flash eine vergleichbare Zuverlässigkeit wie GPT‑4o, jedoch zu deutlich geringeren Kosten.

ReliabilityBench liefert damit ein systematisches und praxisnahes Rahmenwerk, um die Produktionsbereitschaft von LLM‑Agenten präzise zu beurteilen. Entwickler und Unternehmen können damit gezielt Schwachstellen identifizieren und ihre Agenten für den Einsatz in anspruchsvollen, produktionsähnlichen Umgebungen optimieren.