ARLArena: Framework für stabile agentische Reinforcement‑Learning‑Modelle

Agentisches Reinforcement Learning (ARL) gilt als vielversprechendes Paradigma, um Agenten komplexe, mehrstufige Interaktionstätigkeiten beizubringen. Trotz vielversprechender Anfangsergebnisse bleibt ARL stark instabil und führt häufig zu Trainingsabbrüchen. Diese Schwankungen begrenzen die Skalierbarkeit auf größere Umgebungen und längere Interaktionshorizonte und erschweren die systematische Untersuchung von Designentscheidungen.

In der vorliegenden Arbeit wird ARLArena vorgestellt – ein stabilisiertes Trainingsrezept und ein systematisches Analyse‑Framework, das die Trainingsstabilität in einer kontrollierten und reproduzierbaren Umgebung untersucht. ARLArena baut zunächst ein sauberes, standardisiertes Testfeld auf. Anschließend zerlegt es den Policy‑Gradienten in vier zentrale Design‑Dimensionen und bewertet die Leistung sowie die Stabilität jeder Dimension.

Durch diese detaillierte Analyse entsteht ein einheitlicher Blick auf ARL, der zur Entwicklung von SAMPO führt – einer stabilen Agenten‑Policy‑Optimierungsmethode, die die Hauptursachen für Instabilität gezielt adressiert. Empirische Tests zeigen, dass SAMPO konsistent stabiles Training liefert und gleichzeitig starke Leistungen in einer Vielzahl agentischer Aufgaben erzielt.

Die Studie liefert somit nicht nur einen zusammenhängenden Policy‑Gradient‑Ansatz für ARL, sondern bietet auch praxisnahe Anleitungen für den Aufbau stabiler und reproduzierbarer LLM‑basierter Agenten‑Trainingspipelines.