XGrammar 2: Schnellere, dynamische Strukturgenerierung für Agenten-LLMs
Die neueste Veröffentlichung von XGrammar 2 bringt eine erhebliche Leistungssteigerung für moderne LLM‑Agenten, die komplexe strukturierte Generierungsaufgaben bewältigen müssen. Insbesondere bei dynamischen Szenarien wie Tool‑Aufrufen oder bedingter Strukturgenerierung, die weit über statische Vorlagen hinausgehen, stellt XGrammar 2 eine robuste Lösung dar.
Der Kern der Innovation liegt im neuen TagDispatch‑Semantik-Ansatz, der die Maskenerstellung für dynamische Strukturen beschleunigt. Zusätzlich wird ein Just‑in‑Time‑(JIT)‑Kompilierungsverfahren eingesetzt, um die Kompilierungszeit drastisch zu reduzieren, während ein Cross‑Grammar‑Caching‑Mechanismus gemeinsame Teilstrukturen zwischen unterschiedlichen Grammatiken nutzt.
Weiterhin wurde der bisher auf PDA basierende Maskengenerierungsalgorithmus auf einen Earley‑Parser umgestellt und ein Repetition‑Compression‑Algorithmus eingeführt, um Wiederholungsstrukturen effizient zu handhaben. Die Evaluierung zeigt, dass XGrammar 2 mehr als sechsmal schneller arbeitet als bestehende Engines und bei Integration in einen LLM‑Inference‑Prozess nahezu keine Overhead‑Kosten verursacht.