Neue Spektrale Analyse von Sprachmodellen mit Random Matrix Theory

Eine neue Arbeit aus dem arXiv-Repository präsentiert einen einheitlichen Ansatz, um die beiden größten Herausforderungen moderner Deep‑Learning‑Modelle – Zuverlässigkeit und Effizienz – zu adressieren. Durch die Kombination von Spektralgeometrie und Random‑Matrix‑Theory (RMT) wird ein Rahmen geschaffen, der die interne Dynamik großer Sprachmodelle sichtbar macht und gleichzeitig kompakte, stabile und interpretierbare Einsichten liefert.

Der erste Beitrag, EigenTrack, bietet ein Echtzeit‑Tool zur Erkennung von Halluzinationen und Out‑of‑Distribution‑Verhalten. Dabei werden die laufenden Aktivierungen in spektrale Kennzahlen wie Entropie, Varianz und Abweichungen vom Marchenko‑Pastur‑Baseline umgewandelt. Ein leichtgewichtiger rekurrenter Klassifikator modelliert die zeitliche Entwicklung dieser Kennzahlen und ermöglicht so eine frühzeitige Warnung vor Zuverlässigkeitsfehlern, noch bevor sie in den Modellantworten sichtbar werden.

Der zweite Beitrag, RMT‑KD, nutzt die Erkenntnis, dass Ausreißer‑Eigenwerte in Aktivierungsspektren wertvolle, aufgabenrelevante Informationen tragen. Durch gezielte Knowledge‑Distillation, die auf diesen Eigenwerten basiert, lassen sich tiefe Netzwerke effizient komprimieren, ohne die Leistungsfähigkeit zu verlieren. Dieser Ansatz reduziert sowohl die Rechen- als auch die Energieanforderungen erheblich.

Insgesamt liefert die Studie einen klaren, interpretierten Blick auf die Funktionsweise großer Sprachmodelle und eröffnet neue Wege, sie sicherer, effizienter und transparenter zu machen. Die vorgestellten Methoden könnten künftig ein Standardwerkzeug für die Überwachung und Optimierung von KI‑Systemen werden.