CLI‑Gym: Skalierbare CLI‑Aufgaben aus Umgebungsinversion

Agenten, die mit Kommandozeilen‑Interfaces (CLI) arbeiten, müssen in der Lage sein, komplexe Aufgaben wie das Beheben von Abhängigkeitsproblemen oder Systemfehlern zu lösen. Doch bislang gibt es kaum Möglichkeiten, solche umgebungsspezifischen Aufgaben in großem Umfang zu generieren, um die Fähigkeiten der Agenten zu verbessern.

Mit dem neuen Ansatz CLI‑Gym wird dieses Problem angegangen, indem Agenten Umgebungs­historien simulieren und erkunden. Durch die Rückverfolgung eines gesunden Systemzustands kann dieser in einen früheren, fehlerhaften Zustand umgekehrt werden. Aus dem fehlerhaften Zustand und den zugehörigen Fehlermeldungen entsteht dann eine konkrete Aufgabe.

Der Prozess hat bereits 1 655 Aufgaben hervorgebracht – die bislang größte Sammlung solcher umgebungsspezifischen Aufgaben. Auf Basis dieser Daten wurde ein feinabgestimmtes Modell namens LiberCoder entwickelt, das die Leistung auf dem Benchmark Terminal‑Bench um beeindruckende 21,1 % steigert und damit 46,1 % erreicht, deutlich besser als mehrere starke Baselines.

CLI‑Gym stellt damit die erste öffentliche Pipeline dar, die skalierbar umgebungsspezifische Aufgaben erzeugt und damit die Entwicklung leistungsfähiger Agenten vorantreibt.