Neues Benchmark: Testzeit‑Skalierung von generellen LLM‑Agenten untersucht

Wissenschaftler haben ein neues Benchmark namens General AgentBench vorgestellt, das die Leistungsfähigkeit von großen Sprachmodell‑Agenten (LLM‑Agents) in realistischen, mehrdimensionalen Umgebungen testet. Ziel ist es, die Agenten nicht nur in spezialisierten Domänen, sondern in einem einheitlichen Rahmen aus Such-, Programmier-, Denk- und Tool‑Verwendungsaufgaben zu bewerten.

Im Rahmen der Studie wurden zehn führende LLM‑Agenten unter zwei Skalierungsstrategien – sequentieller Skalierung (iterative Interaktion) und paralleler Skalierung (Mehrfachtrajektorien) – getestet. Die Ergebnisse zeigen, dass die Agenten bei der Umstellung von domänenspezifischen Tests auf das allgemeine Benchmark deutlich schlechter abschneiden. Beide Skalierungsansätze führten zudem zu kaum messbaren Leistungsverbesserungen.

Die Autoren identifizieren zwei Hauptgründe für die begrenzte Wirksamkeit: bei sequentieller Skalierung stößt die Kontextgröße der Agenten an eine Grenze, während bei paralleler Skalierung ein „Verifizierungs‑Gap“ entsteht, der die Genauigkeit der Ergebnisse beeinträchtigt. Der Code für General AgentBench ist öffentlich auf GitHub verfügbar, sodass die Community die Erkenntnisse weiter ausbauen kann.