SideQuest: KV-Cache-Management für langfristige agentische Aufgaben

Ein neues Verfahren namens SideQuest wurde vorgestellt, das die Effizienz von KI-Agenten bei langwierigen Aufgaben deutlich verbessert.

Bei langanhaltenden agentischen Aufgaben, wie tiefgreifender Forschung, muss ein Sprachmodell über viele Informationsquellen hinweg mehrstufige Schlüsse ziehen. Dabei dominieren Tokens aus externen Abrufen den Kontext, was den Speicherbedarf stark erhöht und die Decodierung verlangsamt.

Obwohl es bereits Kompressionstechniken für KV-Caches gibt, funktionieren die gängigen Heuristiken nicht optimal für mehrstufige Reasoning-Modelle.

SideQuest nutzt das große Reasoning-Modell selbst, um zu beurteilen, welche Tokens im Kontext wirklich nützlich sind, und komprimiert den KV-Cache auf dieser Basis.

Um zu verhindern, dass die Tokens, die für die Cache-Verwaltung verwendet werden, den Speicher des Modells belasten, wird die Kompression als parallele Hilfsaufgabe ausgeführt.

In Tests mit einem Modell, das nur mit 215 Beispielen trainiert wurde, konnte SideQuest den Spitzen-Tokenverbrauch um bis zu 65 % senken, während die Genauigkeit kaum beeinträchtigt wurde – ein deutlich besserer Ergebnis als bei herkömmlichen heuristischen Methoden.

SideQuest zeigt, dass modellgesteuerte Cache-Optimierung ein vielversprechender Ansatz ist, um die Leistungsfähigkeit von KI-Agenten in komplexen, langanhaltenden Szenarien zu steigern.