Latent Context Compilation: Lange Kontexte in kompakte Speicher komprimieren

Die effiziente Nutzung von Langzeitkontexten in großen Sprachmodellen bleibt ein zentrales Problem. Traditionelle Ansätze wie amortisierte Kompression leiden unter schlechter Generalisierung, während Test‑Time‑Training hohe Kosten verursacht und das Modellgewicht verändert. In der neuen Arbeit wird ein völlig anderer Ansatz vorgestellt: Latent Context Compilation.

Hierbei fungiert ein temporäres LoRA‑Modul als Compiler, der lange Kontexte in kompakte, stateless‑Token‑Puffer umwandelt. Diese Token sind portabel, können ohne Anpassung des Basismodells eingesetzt werden und lassen sich nahtlos in bestehende, eingefrorene Modelle integrieren.

Ein entscheidender Fortschritt ist die selbstausgerichtete Optimierung, die auf synthetischen Frage‑Antwort‑Paaren verzichtet. Stattdessen werden kontextunabhängige Zufallsabfragen genutzt, um die Rekonstruktionsaufgabe zu regulieren. Dadurch werden die komprimierten Token gezwungen, im bereits vorhandenen Instruktions‑Folgen‑Raum des Modells zu liegen.

Experimentelle Ergebnisse mit Llama‑3.1‑8B zeigen, dass die Methode selbst bei einem 16‑fachen Kompressionsverhältnis feine Details und die Rechenfähigkeit des Modells bewahrt. Damit wird die Speicher‑Dichte von Kontexten unabhängig von den Modellparametern, was die gleichzeitige Ausführung mehrerer Anfragen erheblich erleichtert.