Prozedurales Wissen steigert Agenten-LLM-Workflows
Große Sprachmodelle (LLMs) kämpfen häufig mit agentischen Aufgaben, wenn sie ohne umfangreiche Tool-Unterstützung, Prompt‑Engineering oder Feintuning eingesetzt werden. Studien zeigen, dass domänenspezifisches, prozedurales Wissen die Planungseffizienz erheblich steigern kann – doch bislang wurde kaum untersucht, wie sich dieses Wissen auf die Leistung von LLMs bei Aufgaben mit impliziter Planung auswirkt.
In der vorliegenden Arbeit wird ein agentischer LLM‑Workflow formalisiert, implementiert und evaluiert, der prozedurales Wissen in Form eines hierarchischen Aufgabennetzwerks (HTN) nutzt. Die experimentellen Ergebnisse zeigen, dass handkodierte HTNs die Leistung von LLMs bei agentischen Aufgaben drastisch verbessern. Durch den Einsatz von HTNs kann ein 20‑Billionen‑Parameter‑Modell oder ein 70‑Billionen‑Parameter‑Modell sogar einen deutlich größeren 120‑Billionen‑Parameter‑Baseline übertreffen.
Selbst von LLMs generierte HTNs führen zu einer Leistungssteigerung, wenn auch in geringerem Maße. Die Ergebnisse deuten darauf hin, dass die Kuratierung von prozeduralem Wissen – sei es durch menschliches Fachwissen, Dokumente oder LLM‑Generierung – ein entscheidendes Instrument zur Optimierung von LLM‑Workflows wird.