Neue Messgröße: Opaque Serial Depth erklärt, warum LLMs Gedanken äußern

Forscher haben eine neue Kennzahl namens „opaque serial depth“ entwickelt, die misst, wie viel Rechenleistung ein Sprachmodell ohne sichtbare Zwischenschritte ausführen kann. Diese Messgröße erklärt, warum große Sprachmodelle (LLMs) ihre Überlegungen häufig in Form von „Chain of Thought“‑Schritten ausgeben – ein Phänomen, das eng mit der Transformer‑Architektur verknüpft ist.

Durch die Analyse der opaque serial depth konnten die Autoren für die Gemma 3‑Modelle obere Grenzen bestimmen und zeigen, dass selbst bei sehr großen Modellen ein signifikanter Teil der Rechenleistung nicht in expliziten Zwischenschritten sichtbar wird. Darüber hinaus haben sie ein automatisiertes Tool veröffentlicht, das diese Grenzen für beliebige neuronale Netzwerke berechnet.

Ein besonders interessantes Ergebnis ist, dass Mixture‑of‑Experts‑Modelle laut den Berechnungen eine geringere opaque serial depth aufweisen als dicht gepflanzte Modelle. Das deutet darauf hin, dass solche Architekturen weniger „versteckte“ Rechenwege besitzen und ihre Entscheidungen eher transparent sind.

Insgesamt liefert die neue Messgröße ein wertvolles Instrument, um das Ausmaß von nicht‑exponierten Rechenprozessen in KI‑Systemen zu quantifizieren und besser zu verstehen, wie und warum Modelle ihre Gedanken äußern.