Context Cartography: Strukturierte Steuerung des Kontextraums in LLM-Systemen

Die bisherige Strategie zur Verbesserung der Argumentationsfähigkeit großer Sprachmodelle (LLMs) bestand darin, die Kontextfenster zu vergrößern und dabei anzunehmen, dass mehr Tokens automatisch bessere Ergebnisse liefern. Neue empirische Befunde – etwa der „lost in the middle“-Effekt und die Verschlechterung langfristiger Beziehungen – zeigen jedoch, dass der Kontextraum strukturelle Gradienten, Salienz‑Asymmetrien und eine zunehmende Entropie aufweist, die unter Transformer‑Architekturen besonders stark werden.

Um diesen Herausforderungen gezielt zu begegnen, präsentiert die neue Studie das Konzept der „Context Cartography“. Dabei wird ein formales Rahmenwerk vorgestellt, das die bewusste Steuerung des Kontextraums ermöglicht. Das Modell teilt das Informationsuniversum in drei Zonen ein: den schwarzen Nebel (unbeobachtete Informationen), den grauen Nebel (gespeicherte Erinnerungen) und das sichtbare Feld (aktive Denkfläche). Für die Transformationen zwischen und innerhalb dieser Zonen werden sieben kartografische Operatoren definiert – Rekonnaissance, Auswahl, Vereinfachung, Aggregation, Projektion, Verschiebung und Schichtung.

Die Operatoren wurden aus einer systematischen Analyse aller nicht-trivialen Zonentransformationen abgeleitet und nach Transformationsart sowie Zonenabdeckung strukturiert. Sie basieren auf der Salienz‑Geometrie der Transformer‑Aufmerksamkeit und kompensieren die Einschränkungen linearer Präfix‑Speicher, append‑only‑Zustände und die Entropie‑Ansammlung, die bei wachsenden Kontextfenstern auftreten. Durch die Untersuchung von vier aktuellen Systemen – Claude Code, Letta, MemOS und OpenViking – liefert die Arbeit interpretative Belege dafür, dass diese Operatoren unabhängig voneinander auf ähnliche Prinzipien zusteuern.