Effiziente On-Device-Agenten durch adaptives Kontextmanagement

On‑Device‑KI-Agenten versprechen personalisierte, latenzarme Unterstützung, doch ihre Einsatzmöglichkeiten sind stark durch begrenzten Speicher eingeschränkt. Das führt zu einem Spannungsfeld zwischen komplexen, zustandsbasierten Interaktionen und der praktischen Machbarkeit auf dem Gerät.

Die neue Forschungsarbeit löst dieses Dilemma mit einem dreiteiligen Optimierungsrahmen. Erstens wird ein dynamisches Speichersystem eingesetzt, das mithilfe spezieller LoRA‑Adapter den Gesprächsverlauf in ein komprimiertes, strukturiertes „Context State Object“ überführt. Zweitens wird ein minimalistisches Serialisierungsformat für Tool‑Schemata entwickelt, das den Token‑Overhead pro Tool drastisch reduziert. Drittens sorgt ein Just‑In‑Time‑Schema‑Passing‑Mechanismus dafür, dass vollständige Tool‑Definitionen erst bei Auswahl geladen werden.

Durch die Anpassung eines 3‑Billionen‑Parameter‑SLM an diese effizienten Kontextpfade konnte das System die Leistung eines herkömmlichen Baselines erreichen oder sogar übertreffen. Gleichzeitig wurde die anfängliche Systemprompt‑Größe um mehr als das Sechsfache reduziert, während das Wachstum der Kontextgröße je nach Interaktionsumfang um 10‑ bis 25‑Fach gesenkt wurde. Diese Ergebnisse zeigen, dass gezieltes Kontextmanagement entscheidend ist, um leistungsfähige und dauerhafte On‑Device‑KI zu realisieren.