Kostenlose LLM-Agenten: In-Context Distillation senkt Ausführungskosten um 2,5‑fach

In einer neuen Veröffentlichung auf arXiv wird ein Verfahren vorgestellt, das die Ausführungskosten von großen Sprachmodell‑Agenten drastisch senkt – ohne dass dafür zusätzliche Trainingszyklen oder aufwändige Prompt‑Engineering‑Schleifen nötig sind.

Das Konzept der In‑Context Distillation nutzt die Idee des Knowledge Distillation, aber statt ein separates Student‑Modell zu trainieren, werden zu jedem Agenten‑Schritt relevante Demonstrationen des hochpreisigen Lehrers abgerufen und als in‑Kontext‑Beispiele dem Student präsentiert. Dadurch kann der Student das Verhalten des Lehrers sofort nachahmen, ohne dass ein neues Modell trainiert werden muss.

Durch die Kombination mit Self‑Consistency Cascades entscheidet das System adaptiv, wann es dem Student vertrauen kann. Auf dem mehrstufigen Embodied‑Reasoning‑Benchmark ALFWorld erreicht die Methode die Genauigkeit des Lehrers bei gleichzeitig 2,5‑fach geringeren Kosten. Der durchschnittliche Kostenfaktor pro Episode sinkt von 0,059 $ auf 0,024 $, die anfänglichen Demonstrationskosten amortisieren sich nach nur 843 Episoden und bei einer Einsatz‑Skala von einer Million Episoden ergeben sich kumulative Einsparungen von über 34.900 $.

Das Verfahren bietet damit einen einfachen, trainingsfreien Ansatz, um die Produktivität von LLM‑Agenten zu erhalten und gleichzeitig die Betriebskosten signifikant zu reduzieren.