RISER: Adaptive Steuerung von LLMs durch latente Rechenvektoren

In einer neuen Veröffentlichung auf arXiv wird RISER vorgestellt, ein Plug‑and‑Play-Framework, das große Sprachmodelle (LLMs) durch adaptive Aktivierungssteuerung effizienter und kontrollierbarer macht. Im Gegensatz zu bisherigen Ansätzen, die auf aufwändigen Trainingsschritten mit Parameterupdates basieren, nutzt RISER ein leichtgewichtiges Router-System, das aus einer Bibliothek wiederverwendbarer Rechenvektoren dynamisch die passende Kombination für jede Eingabe zusammenstellt.

Der Router wird mithilfe von Reinforcement Learning optimiert, wobei task‑spezifische Belohnungen als Leitfaden dienen. Dadurch werden latente kognitive Bausteine in einer emergenten und kompositionsfähigen Weise aktiviert, ohne dass das Modell selbst neu trainiert werden muss. Die Methode demonstriert in sieben unterschiedlichen Benchmarks durchschnittliche Verbesserungen der Zero‑Shot‑Genauigkeit um 3,4 % bis 6,5 % gegenüber dem Basismodell.

Ein weiterer Vorteil von RISER ist die signifikante Token‑Effizienz: Im Vergleich zu klassischen Chain‑of‑Thought (CoT) Strategien erreicht RISER 2‑3 mal höhere Genauigkeit bei deutlich weniger Tokens. Die Analyse zeigt zudem, dass das System eigenständig mehrere Vektoren zu interpretierbaren Steuerungsstrategien kombiniert, was auf eine gesteigerte Kontrollierbarkeit und Effizienz der LLM‑Reasoning-Prozesse hinweist.