RIDE: Meta-Prompts zeigen, dass Routing die Aktivität dichter macht

In einer neuen Studie zum Thema „Routing“ bei großen Sprachmodellen (LLMs) wird die weit verbreitete Annahme hinterfragt, dass das Weiterleiten von Anfragen an spezialisierte „Experten“ zu sparsameren und damit stabileren internen Berechnungen führt. Das sogenannte Sparsity‑Certainty‑Hypothesis wird anhand von Meta‑Prompts – textuellen Ersatz für Routing‑Signale – in drei instruction‑tuned Modellen (Qwen3‑8B, Llama‑3.1‑8B‑Instruct und Mistral‑7B‑Instruct‑v0.2) getestet.

Die Forscher haben die internen Zustände der Modelle mit drei Messgrößen untersucht: die Aktivitätssparsität (dichte vs. spärliche Repräsentationen), die Aufmerksamkeit auf Domänen‑Schlüsselwörter und die Stabilität der Ausgaben, gemessen an der Vorhersage‑Entropie und semantischen Variation. Durch das Einfügen von Meta‑Prompts in die Eingabe wurden die frühen und mittleren Layer der Modelle gezielt beeinflusst.

Ergebnisse zeigen, dass die Meta‑Prompts die Repräsentationen tatsächlich dichter machen, anstatt sie zu spärlicher zu gestalten – ein Ergebnis, das die ursprüngliche Hypothese in Frage stellt. Die Wirkung variiert je nach Modell: Qwen und Llama reduzieren die Aufmerksamkeit auf Schlüsselwörter, während Mistral diese verstärkt. Die Korrelation zwischen Dichte und Stabilität ist bei Qwen schwach, bei Llama und Mistral nahezu null, was die Komplexität der Beziehung zwischen Routing‑Mechanismen und Modellverhalten unterstreicht.

Die Autoren stellen RIDE als diagnostisches Werkzeug vor, das dazu dient, Routing‑Designs zu kalibrieren und die Unsicherheit in LLM‑Ausgaben besser einzuschätzen. Diese Erkenntnisse liefern wertvolle Hinweise für die Weiterentwicklung von Routing‑Strategien in der Praxis und eröffnen neue Perspektiven für die Analyse von LLM‑Interne Zustände.