Chain-of-Agents: Neues Paradigma für end-to-end Problemlösung mit LLMs

In den letzten Jahren haben große Sprachmodelle (LLMs) und Multi‑Agenten-Systeme beeindruckende Fortschritte bei komplexen Aufgaben wie tiefgreifender Forschung, Vibe‑Coding und mathematischem Denken erzielt. Dennoch basieren die meisten bestehenden Multi‑Agenten‑Ansätze auf manueller Prompt‑ und Workflow‑Engineering, was sie rechenintensiv, weniger leistungsfähig und nicht datenzentriert macht.

Die Autoren stellen Kette von Agenten (CoA) vor – ein neues Paradigma, das die Vorteile eines Multi‑Agenten‑Systems in einem einzigen Modell vereint. CoA aktiviert dynamisch verschiedene Tool‑Agenten und Rollen‑Agenten, um die Zusammenarbeit mehrerer Agenten in einer End‑zu‑End‑Problemlösung zu simulieren. Dadurch wird die Komplexität von Aufgaben ohne zusätzliche externe Frameworks bewältigt.

Um die End‑zu‑End‑Fähigkeiten zu trainieren, nutzen die Forscher ein Multi‑Agenten‑Distillations‑Framework, das die besten Multi‑Agenten‑Systeme in CoA‑Trajektorien überführt und für ein überwährendes Feintuning verwendet. Anschließend wird agentenbasiertes Verstärkungslernen auf verifizierbaren Aufgaben eingesetzt, um die Leistung weiter zu steigern. Die daraus resultierenden Modelle werden Agenten‑Grundlagenmodelle (AFMs) genannt.

Empirische Studien zeigen, dass AFMs neue Spitzenleistungen in einer Vielzahl von Benchmarks erzielen – sowohl im Web‑Agenten‑ als auch im Code‑Agenten‑Umfeld. Die komplette Forschung, einschließlich der Modelle und Trainingsdaten, ist öffentlich zugänglich, was die Weiterentwicklung und Anwendung von Kette von Agenten in der Praxis erleichtert.