Kleine Sprachmodelle: Entropie- und Aufmerksamkeitsanalyse bei kleinen Sprachmodellen

In einer neuen Studie wurden kleine Sprachmodelle (SLMs) mit 1 bis 1,7 Milliarden Parametern auf dem TruthfulQA‑Benchmark untersucht. Durch eine detaillierte, token‑basierte Analyse von Ausgabentoken‑Entropie, Aufmerksamkeits‑Entropie, Kopf‑Dispersion und versteckten Zuständen konnten die internen Dynamiken dieser Modelle erstmals transparent gemacht werden.

Die Ergebnisse lassen sich in drei Verhaltensklassen einteilen: deterministische Modelle wie DeepSeek‑1,5 B und LLaMA‑1 B zeigen im Laufe der Decodierung eine abnehmende Entropie, während das explorative Modell Gemma‑1 B eine steigende Entropie aufweist. Das balancierte Modell Qwen‑1,7 B bleibt dagegen mit moderater, stabiler Entropie in der Mitte. Jede Gruppe weist zudem charakteristische Muster in der Bewegung der versteckten Zustände und der Aufmerksamkeitsverteilung auf.

Die Analyse legt nahe, dass die Wahrhaftigkeit von SLMs aus strukturierten Entropie‑ und Aufmerksamkeitsdynamiken entsteht. Durch das Monitoring dieser internen Unsicherheitsmuster lassen sich gezielt Optimierungen vornehmen, um die Zuverlässigkeit und die Reduktion von Halluzinationen in ressourcenbeschränkten Einsatzszenarien zu erhöhen.