CATArena: Neues Benchmark-Tool für lernende LLM-Agenten

Large Language Model (LLM)-Agenten haben sich von einfachen Textgeneratoren zu autonomen Systemen entwickelt, die komplexe Aufgaben durch Interaktion mit externen Tools erledigen können. Aktuelle Messverfahren beschränken sich jedoch meist auf feste Szenarien, wodurch die Bewertung auf bestimmte Fertigkeiten limitiert ist und die Scores schnell an ihre Grenzen stoßen. Gleichzeitig steigt der Bedarf an Expertenannotation, wenn die Agenten immer leistungsfähiger werden.

In der vorliegenden Arbeit wird die Lernfähigkeit – sowohl die Selbstverbesserung als auch das Lernen von Peers – als entscheidender Motor für die Weiterentwicklung von Agenten bis hin zur menschenähnlichen Intelligenz hervorgehoben. Dazu wird ein iteratives, wettbewerbsorientiertes Peer‑Learning‑Framework vorgestellt, das Agenten ermöglicht, ihre Strategien durch wiederholte Interaktionen und Feedbackschleifen zu verfeinern und damit ihre Lernkompetenz systematisch zu prüfen.

Um das Problem der Score‑Sättigung zu umgehen, wird CATArena als Turnier‑basiertes Evaluationssystem präsentiert. Die Plattform umfasst vier unterschiedliche Brett- und Kartenspiele mit offenen, nicht begrenzten Punktzahlen. Durch das Fehlen einer festen Obergrenze können Agenten kontinuierlich und dynamisch bewertet werden, während ihre Fähigkeiten rasch wachsen.

Experimentelle Ergebnisse mit minimalen und kommerziellen Code‑Agenten zeigen, dass CATArena ein zuverlässiges, stabiles und skalierbares Benchmarking für Kernkompetenzen von Agenten bietet – insbesondere für Lernfähigkeit und die Umsetzung von Strategien in Code.