ATLAS: Kleine Modelle meistern große Toolsets mit gezieltem Reinforcement Learning

Ein neues Forschungsprojekt namens ATLAS hat die Grenzen kleiner Sprachmodelle (SLMs) in komplexen Tool‑Ökosystemen verschoben. Durch gezieltes Reinforcement‑Learning können SLMs nun lange, mehrstufige Arbeitsabläufe planen und ausführen, ohne dabei von der begrenzten Kontextgröße eingeschränkt zu werden.

Traditionell leiden kleine Modelle unter Kontextüberlastung, wenn sie zu viele Werkzeuge gleichzeitig laden. Fehler bei der Ausführung häufen sich zudem, und die seltenen Belohnungen erschweren das Lernen. ATLAS begegnet diesen Problemen, indem es die Kontrolle über Kontext und Ausführungsstruktur als lernbare Entscheidungen behandelt.

Die beiden Kerninnovationen von ATLAS sind: Erstens eine iterative Tool‑Ladung kombiniert mit programmatischer Orchestrierung, die das Wachstum des Kontextes begrenzt und lange Arbeitsabläufe stabilisiert. Zweitens ein rubric‑basiertes Reinforcement‑Finetuning, das den Erfolg einer Aufgabe in strukturierte, aufgabenorientierte Kriterien zerlegt und damit skalierbares Training mit kleinen Bewertungsmodellen ermöglicht.

In umfangreichen Benchmarks über MCP‑Aufgaben erzielte ATLAS deutliche Verbesserungen gegenüber generischen RL‑Baselines. Ein 4‑Billionen‑Parameter‑Modell kam dank der neuen Technik fast auf das Niveau führender Agenten, obwohl es deutlich weniger Parameter und einen kleineren Kontextbedarf hatte.