Sparsity entscheidend: Stabilität von Agenten-LLMs in großen Aktionsräumen

Eine neue Veröffentlichung auf arXiv (2601.08271v1) beleuchtet ein bislang wenig erforschtes Problem: wie große Sprachmodelle (LLMs) in Umgebungen mit einer riesigen Anzahl von möglichen Aktionen – von Tools über APIs bis hin zu Dokumenten – zuverlässig entscheiden können, wenn nur ein kleiner, unbekannter Teil dieser Aktionen tatsächlich relevant ist.

Die Autoren führen den Begriff Sparse Agentic Control (SAC) ein. Dabei können Agenten ihre Entscheidungsregeln in einer block-sparsen Form darstellen, sodass nur wenige von Millionen möglichen Aktionen aktiv sind. Die Belohnungen hängen dabei von sparsamen Haupteffekten und optional von sparsamen Synergien ab.

Durch die Anwendung einer ell1,2-Regulierung auf die Politik lernen die Modelle effizient. Die Ergebnisse sind kompakt-sensing‑ähnlich: Die Schätzfehler und die Wertsuboptimalität wachsen proportional zu k · √(log M / T), wenn eine Policy‑RSC‑Bedingung erfüllt ist. Außerdem kann die exakte Auswahl der relevanten Tools genau wiederhergestellt werden, sobald die Stichprobengröße T größer als k · log M ist, vorausgesetzt, die Inkoherenz‑ und Beta‑Min‑Bedingungen gelten.

Ein besonders aufschlussreiches Resultat zeigt, dass bei dichten Politikklassen mindestens Ω(M) Beobachtungen nötig sind. Das erklärt, warum reine Prompt‑Kontrolle oft instabil wirkt – sie muss im Wesentlichen alle möglichen Aktionen berücksichtigen.

Die Autoren berücksichtigen auch partielle Beobachtbarkeit. Hier wirken LLMs nur über einen Fehler in der Zustandsrepräsentation (εb) und führen zu einer additive O(εb)‑Abnahme, während die logarithmische Abhängigkeit von M erhalten bleibt.

Schließlich skizzieren sie Erweiterungen zu tuning‑freien, online‑fähigen, robusten, gruppensparsamen und interaktionsbewussten Varianten von SAC, die das Konzept weiter verfeinern und praktisch anwendbar machen.