Geometrische Messwerte enthüllen, was Halluzinationen wirklich bedeuten

In einer neuen Studie von Forschern auf arXiv (2602.09158v1) wird untersucht, welche Eigenschaften von Halluzinationen tatsächlich durch geometrische Kennzahlen im Inneren von Sprachmodellen erfasst werden. Halluzinationen stellen ein großes Hindernis für den Einsatz generativer Modelle in sicherheitskritischen Bereichen dar, insbesondere wenn keine externe Referenz zur Validierung der Ausgaben vorhanden ist.

Um die Frage zu beantworten, haben die Autoren ein synthetisches Datenset erstellt, das gezielt verschiedene Aspekte von Halluzinationen variiert: Richtigkeit, Vertrauen, Relevanz, Kohärenz und Vollständigkeit. Die Analyse zeigte, dass unterschiedliche geometrische Statistiken jeweils andere Halluzinationstypen erkennen. So sind manche Metriken besonders empfindlich gegenüber Unrelevanz, während andere besser mit Incoherenzen umgehen.

Ein weiteres Ergebnis der Arbeit ist die Feststellung, dass viele bestehende geometrische Erkennungsverfahren stark von Domain‑Shifts betroffen sind – etwa bei mathematischen Fragen im Vergleich zu historischen Fragen. Um diesem Problem entgegenzuwirken, haben die Autoren eine einfache Normalisierungsmethode entwickelt, die die Sensitivität gegenüber Domain‑Shifts reduziert. In Multi‑Domain‑Tests führte diese Methode zu einer Steigerung der AUROC um 34 Punkte.

Die Studie liefert damit wichtige Einblicke in die Funktionsweise geometrischer Halluzinationsdetektoren und bietet einen praktischen Ansatz, um deren Robustheit in unterschiedlichen Anwendungsdomänen zu verbessern.