LLMs meistern Tool-Orchestrierung dank gezielter Daten-Synthese und Belohnungen

In einer neuen Studie wird ein Ansatz vorgestellt, der es großen Sprachmodellen (LLMs) ermöglicht, komplexe Tool-Orchestrierungen zuverlässig auszuführen. Dabei müssen die Modelle mehrere abhängige APIs in der richtigen Reihenfolge aufrufen und Zwischenergebnisse korrekt weiterleiten – ein Problem, das bisher häufig zu Fehlern führt.

Der Hauptgrund für die Schwierigkeiten liegt in zwei bestehenden Hindernissen: Erstens konzentrieren sich aktuelle Trainingsumgebungen auf einfache, einzelne Funktionsaufrufe mit simulierten Daten, wodurch die realen Abläufe nicht adäquat abgebildet werden. Zweitens liefern binäre Belohnungen kein Feedback für teilweise korrekte Ausführungen, sodass das Modell nicht lernt, Fehler zu korrigieren.

Die vorgestellte Lösung besteht aus einem Reinforcement-Learning-Framework, das auf einer umfangreichen Cache-Datenbank echter API-Antworten basiert. Durch diese Datenbasis kann ein Synthese-Pipeline erzeugt werden, die valide Mehrschritt-Orchestrierungsfolgen mit kontrollierbarer Komplexität generiert und dabei deutlich effizienter arbeitet als unkontrollierte Methoden.

Zusätzlich wird ein abgestuftes Belohnungssystem eingeführt, das die Korrektheit in zwei Ebenen unterteilt: atomare Gültigkeit (Richtigkeit einzelner Funktionsaufrufe) und Orchestrierung (korrekte Reihenfolge unter Beachtung von Abhängigkeiten). Dieses Design liefert dem Modell ein differenziertes Signal, das sowohl Teil- als auch Gesamterfolge belohnt.

Auf dem Benchmark ComplexFuncBench zeigt der Ansatz signifikante Verbesserungen der Turn-Genauigkeit. Ablationsstudien belegen, dass beide Belohnungskomponenten notwendig sind – die Verwendung von nur einer der beiden Komponenten führt zu einem deutlichen Leistungsabfall.