Endless Terminals: Skalierbare RL-Umgebungen für Terminal-Agenten

In der Forschung zu selbstverbessernden Agenten stellen Umgebungen häufig die größte Hürde dar. Aktuelle Terminal-Benchmarks wurden primär zur Bewertung entwickelt und bieten nicht die Skalierbarkeit, die für das Training von Reinforcement‑Learning‑Modellen nötig ist. Die neue Initiative Endless Terminals liefert dafür eine vollständig autonome Pipeline, die ohne menschliche Annotationen Aufgaben im Terminalbereich erzeugt.

Die Pipeline besteht aus vier Schritten: Zunächst werden vielfältige Aufgabenbeschreibungen generiert, anschließend werden containerisierte Umgebungen erstellt und validiert, danach werden Abschlussprüfungen erzeugt und schließlich Aufgaben auf Lösbarkeit geprüft. Aus diesem Prozess resultieren 3.255 Aufgaben, die Bereiche wie Dateiverwaltung, Log‑Management, Datenverarbeitung, Skripting und Datenbankoperationen abdecken.

Mit einem einfachen Reinforcement‑Learning‑Setup – Vanilla PPO, binäre Episodenbelohnungen und ein minimaler Interaktionsloop ohne Retrieval, Multi‑Agenten‑Koordination oder spezielle Tools – wurden Agenten trainiert. Die Ergebnisse sind beeindruckend: Auf einem hold‑out‑Dev‑Set stieg die Leistung von Llama‑3.2‑3B von 4,0 % auf 18,2 %, Qwen2.5‑7B von 10,7 % auf 53,3 % und Qwen3‑8B‑openthinker‑sft von 42,6 % auf 59,0 %.

Diese Fortschritte übertragen sich auch auf menschlich kuratierte Benchmarks. Auf TerminalBench 2.0 verbesserte sich Llama‑3.2‑3B von 0,0 % auf 2,2 %, Qwen2.5‑7B von 2,2 % auf 3,4 % und Qwen3‑8B‑openthinker‑sft von 1,1 % auf 6,7 %. In allen Fällen übertrafen die Modelle Ansätze mit komplexeren agentischen Strukturen. Die Studie zeigt eindeutig, dass ein einfaches RL-Setup bei ausreichend skalierbaren Umgebungen große Erfolge erzielen kann.