AutoTraj: Automatisches Lernen von Tool‑Use‑Pfaden für KI‑Reasoning

In einer neuen Studie wird AutoTraj vorgestellt, ein zweistufiges Verfahren, das große Sprachmodelle (LLMs) dazu befähigt, komplexe Aufgaben zu lösen, indem sie externe Werkzeuge nutzen. Der Ansatz geht über die bisherigen Methoden hinaus, die stark auf hochqualitative, synthetisch erzeugte Pfade angewiesen sind, und bietet stattdessen ein automatisiertes System zur Reparatur und Belohnung von Tool‑Use‑Trajektorien.

Im ersten, Supervised‑Fine‑Tuning‑ (SFT) Schritt generiert AutoTraj für jede Anfrage mehrere mögliche Tool‑Use‑Trajektorien. Diese werden anhand mehrerer Kriterien bewertet: Qualität, Kohärenz und Ergebnisrelevanz. Hochwertige Pfade werden direkt übernommen, während minderwertige Pfade von einem LLM als „Repairer“ korrigiert werden. Das Ergebnis ist ein synthetisches SFT‑Datensatz aus reparierten und erstklassigen Pfaden sowie ein Präferenz‑Datensatz, der jeweils ein repariertes Pfad‑Paar mit seinem ursprünglichen, minderwertigen Gegenstück enthält.

Im zweiten, Reinforcement‑Learning‑ (RL) Schritt nutzt das System den Präferenz‑Datensatz, um ein Trajektorien‑Belohnungsmodell zu trainieren. Dieses Modell bewertet die Qualität von Denkwegen und wird mit Ergebnis‑ und Format‑Belohnungen kombiniert, um die Optimierung gezielt auf zuverlässige Tool‑Integrated‑Reasoning‑Verhaltensweisen auszurichten. Experimente an realen Benchmark‑Datensätzen zeigen, dass AutoTraj die Leistung von LLMs in Tool‑Integrated‑Reasoning deutlich verbessert.