Probabilistische Sprach-Trie: Kompression & Entscheidungsfindung in Modell

Wissenschaftler haben ein neues Konzept namens probabilistische Sprach-Trie (PLT) vorgestellt, das die implizite Präfixstruktur jedes generativen Modells explizit darstellt. Durch Zuordnung der bedingten Wahrscheinlichkeit eines Tokens oder einer Aktion zu jeder ausgehenden Kante entsteht ein einheitliches Datenmodell, das gleichzeitig mehrere Aufgaben erfüllt.

Ein PLT dient als optimaler verlustfreier Kompressor, indem er frequenzgewichtete Intervallcodierung nutzt – eine Erweiterung der arithmetischen Codierung für modellbedingte Verteilungen. Gleichzeitig fungiert er als Policy-Repräsentation für sequentielle Entscheidungsprobleme wie Spiele, Suchalgorithmen und robotische Steuerung. Darüber hinaus bildet er einen Memoization-Index, der wiederholte Inferenzanfragen durch strukturierte Abrufe beantwortet, anstatt das komplette Modell erneut auszuführen.

Der zentrale technische Durchbruch ist der prior‑gesteuerte Caching‑Satz: Unter einer stationären generativen Verteilung erzielt ein PLT‑gesteuerter Cache einen strikt niedrigeren erwarteten Inferenzaufwand als jeder empirisch basierte Cache, solange die Anfragenanzahl unter einem Schwellenwert bleibt, der mit der Konzentration des Priors wächst. Das Ergebnis ist eine Reduktion des O(n²)-Aufwands von Transformer‑Attention auf einen erwarteten Aufwand von p_r · O(log N) + (1 – p_r) · O(n²), wobei p_r die prior‑basierte Wiederverwendungswahrscheinlichkeit und N die Größe des Artefakt‑Speichers ist.

Weiterhin wird eine hybride Kompressionsarchitektur vorgestellt, die jedes Datenset in einen PLT‑abgedeckten Großteil und einen sparsamen Rest‑Speicher zerlegt. Diese Verbindung von arithmetischer Codierung mit Kolmogorov‑artigen Programmrepräsentationen und Rate‑Distortion‑Theorie eröffnet neue Möglichkeiten für effiziente Datenhaltung. Die Autoren demonstrieren die Vielseitigkeit des Ansatzes in Bereichen wie Schach, Websuche, Robotik, organisatorische Workflows und die Inferenz von großen Sprachmodellen.