Sparse Semantic Dimension liefert neue Generalisierungssicherheit für LLMs

Die klassische Lerntheorie sagt, dass große Sprachmodelle wegen ihrer enormen Parameterzahl leicht überanpassen sollten. In der Praxis zeigen sie jedoch eine erstaunliche Fähigkeit zur Generalisierung. Forscher haben nun einen neuen Ansatz entwickelt, der erklärt, warum das so ist: Die wirkliche Kapazität, die die Generalisierung steuert, liegt nicht in der Parameteranzahl, sondern in der Geometrie der internen Repräsentationen.

Der Schlüssel dazu ist die Sparse Semantic Dimension (SSD), ein Komplexitätsmaß, das aus dem aktiven Feature‑Vokabular eines Sparse Autoencoders (SAE) abgeleitet wird, der auf den Schichten des Modells trainiert wird. Indem LLM und SAE als feste Orakel betrachtet werden, lässt sich die Generalisierungsleistung des Modells auf die Sparsamkeit des Wörterbuchs zurückführen, nicht auf die Gesamtzahl der Parameter.

Die Theorie wurde an GPT‑2 Small und Gemma‑2B getestet. Die Ergebnisse zeigen, dass die SSD‑Grenze bei realistischen Stichprobengrößen nicht leer ist und somit echte Zertifikate liefert. Interessanterweise folgt ein kontraintuitives „Feature‑Sharpness“-Skalierungsgesetz: Obwohl Gemma‑2B ein Vielfaches größer ist, benötigt es deutlich weniger Kalibrierungsdaten, um sein aktives Manifold zu identifizieren. Das deutet darauf hin, dass größere Modelle komprimierbarere und eindeutigere semantische Strukturen lernen.

Darüber hinaus fungiert das SSD‑Framework als zuverlässiger Sicherheitsmonitor. Bei Eingaben außerhalb des Trainingsdatensatzes kommt es zu einem deutlichen „Feature‑Explosion“, also einem plötzlichen Anstieg aktiver Features. Dieser Anstieg signalisiert epistemische Unsicherheit und ermöglicht eine frühzeitige Warnung vor potenziell fehlerhaften Vorhersagen.