Trace2Skill: Automatisierte Skill‑Entwicklung für LLM‑Agenten

Die Entwicklung von domänenspezifischen Fähigkeiten für große Sprachmodelle (LLM) ist entscheidend, um komplexe Aufgaben zu bewältigen. Traditionell erfolgt die Erstellung dieser Skills manuell, was jedoch ein erhebliches Skalierungsproblem darstellt. Automatisierte Ansätze liefern häufig fragile oder fragmentierte Ergebnisse, weil sie entweder auf oberflächlichem parametertheoretischem Wissen beruhen oder sich sequenziell an nicht generalisierbare, trajektorienbasierte Lektionen anpassen.

Trace2Skill löst dieses Problem, indem es den Prozess der Skill‑Erstellung nach dem Vorgehen menschlicher Experten gestaltet: Es analysiert zunächst umfassend die gesamte Ausführungserfahrung, bevor es die Erkenntnisse in einen einzigen, zusammenhängenden Leitfaden überführt. Anstatt einzelne Trajektorien sequenziell zu verarbeiten, setzt Trace2Skill ein paralleles Team von Unteragenten ein, die eine vielfältige Auswahl an Ausführungen untersuchen. Dabei werden trajektorienbezogene Lektionen extrahiert und hierarchisch zu einem einheitlichen, konfliktfreien Skill‑Verzeichnis zusammengeführt – ein Prozess, der auf induktivem Schließen basiert.

Die Methode unterstützt sowohl die Vertiefung bereits vorhandener, von Menschen verfasster Skills als auch die Generierung völlig neuer Skills von Grund auf. In anspruchsvollen Anwendungsbereichen wie Tabellenkalkulationen, Vision‑Question‑Answering und mathematischem Problemlösen haben Experimente gezeigt, dass Trace2Skill die Leistung gegenüber starken Baselines, darunter die offiziellen xlsx‑Skills von Anthropic, deutlich verbessert.

Ein besonders bemerkenswertes Ergebnis ist die Übertragbarkeit der entwickelten Skills über verschiedene LLM‑Skalen hinweg. Skills, die von Qwen3.5‑35B auf eigenen Trajektorien gelernt wurden, konnten einen Qwen3.5‑122B‑Agenten um bis zu 57,65 Prozentpunkte auf der WikiTableQuestions‑Aufgabe steigern. Diese Verbesserungen demonstrieren, dass die Trajektorien‑basierte Evolution nicht nur einzelne Aufgaben auswendig lernt, sondern echte, generalisierbare Fähigkeiten erzeugt, die auch in Out‑of‑Distribution‑Szenarien funktionieren.