Neural Paging: LLMs mit externem Speicher erreichen universelle Rechenkraft

Wissenschaftler haben gezeigt, dass große Sprachmodelle (LLMs), die mit externem Lese‑/Schreib‑Speicher kombiniert werden, ein rechnerisch universelles System bilden. Diese Erkenntnis legt die theoretische Basis für Allzweckagenten, die komplexe Aufgaben lösen können.

Ein entscheidendes Problem bei bestehenden Implementierungen ist die begrenzte und kostenintensive Kontextfenstergröße. Sie fungiert nicht als unendlicher Speicher, sondern als knapper semantischer Cache. Um dieses Engpass zu überwinden, stellen die Forscher die neue Architektur Neural Paging vor, die symbolisches Denken von der Verwaltung von Informationsressourcen trennt.

Die Autoren formulieren das Context Paging Problem (CPP) und entwickeln einen leichtgewichtigen, differenzierbaren Page Controller. Dieser approximiert die „semantische Belady‑Optimallösung“ und behält Tokens mit hoher zukünftiger Nützlichkeit unter klaren Annahmen zu Zugriffsmustern. Theoretische Analysen zeigen, dass Neural Paging die asymptotische Komplexität langer Rechenpfade von quadratisch $O(N^2)$ auf $O(N \cdot K^2)$ reduziert, wobei $K$ die maximale Kontextfenstergröße ist. Zudem liefert ein Robustheitsbeweis (Theorem 4) eine Abschätzung der Leistungsabnahme bei policyabhängigen Zugriffen mit begrenzter Sensitivität.

Die theoretischen Grenzen wurden anhand synthetischer Paging‑Spuren validiert. Die Ergebnisse bestätigen die Vorhersagen und weisen auf einen erheblichen Spielraum hin, der die Entwicklung lernbasierter Policies fördert. Neural Paging eröffnet damit neue Wege, LLM‑Agenten effizienter und skalierbarer zu machen.