Entropie der Aufmerksamkeitsköpfe sagt Antwortrichtigkeit von LLMs voraus

Moderne Sprachmodelle können überzeugend klingende, aber falsche Antworten liefern – ein Problem, das besonders in sicherheitskritischen Bereichen wie der Medizin gravierende Folgen haben kann. Da die manuelle Bewertung von Antworten teuer und zeitaufwendig ist, suchen Forscher nach automatisierten, transparenten Methoden, um die Richtigkeit von LLM-Ausgaben zu beurteilen.

In der aktuellen Studie wird die neue Methode „Head Entropy“ vorgestellt. Sie misst die Streuung der Aufmerksamkeitsgewichte einzelner Kopf‑Einheiten über 2‑Renyi‑Entropien und nutzt eine sparsante logistische Regression, um anhand dieser Muster die Antwortrichtigkeit vorherzusagen. Die Ergebnisse zeigen, dass Head Entropy die bestehenden Baselines in‑Distribution nicht nur erreicht, sondern sogar übertrifft und dabei um durchschnittlich 8,5 % AUROC besser abschneidet. Besonders beeindruckend ist die robuste Generalisierung auf Out‑of‑Domain‑Daten, wo die Methode deutlich bessere Vorhersagen liefert.

Ein weiteres Highlight der Arbeit ist die Erkenntnis, dass bereits die Aufmerksamkeitsmuster, die vor der eigentlichen Antwortgenerierung entstehen, wertvolle Hinweise auf die Richtigkeit enthalten. Durch die Anwendung von Head Entropy auf diese frühen Muster konnte die Vorhersagegenauigkeit im Durchschnitt um 17,7 % AUROC gegenüber dem nächsten besten Ansatz gesteigert werden.

Die Autoren haben ihre Methode auf fünf instruction‑tuned LLMs und drei unterschiedliche Frage‑Antwort‑Datensätze getestet, die von allgemeinem Wissen über mehrstufiges logisches Denken bis hin zu medizinischen Fragestellungen reichen. Diese breite Evaluierung unterstreicht die Vielseitigkeit und Praxistauglichkeit von Head Entropy als Werkzeug zur Qualitätskontrolle von KI‑generierten Antworten.