Neuer, trainingsfreier Halluzinationsdetektor für große Sprachmodelle

Halluzinationen in großen Sprachmodellen bleiben ein zentrales Hindernis für deren vertrauenswürdige Nutzung. Um dieses Problem anzugehen, haben Forscher einen innovativen Detektor entwickelt, der ohne zusätzliche Trainingsschritte auskommt und dennoch präzise arbeitet.

Der Ansatz basiert auf der Idee, dass die Komplexität der bedingten Verteilung, die ein Sprachmodell mit einem Prompt erzeugt, ein Indikator für Halluzinationen sein kann. Da die Dichte dieser Verteilung jedoch unbekannt ist und die generierten Antworten diskrete Token‑Sätze darstellen, stellt sich die Frage, wie man deren Komplexität messen kann. Die Lösung: die Berechnung von optimalen Transportabständen – Wasserstein‑Distanzen – zwischen den Token‑Einbettungen zweier zufälliger Antworten. Das Ergebnis ist eine Matrix, die die Kosten für die Transformation zwischen den Antworten quantifiziert.

Aus dieser Matrix werden zwei ergänzende Signale abgeleitet: AvgWD, das den durchschnittlichen Transformationskostenwert misst, und EigenWD, das die Kostenkomplexität erfasst. Beide Kennzahlen ermöglichen einen trainingsfreien Halluzinationsdetektor, der auch bei Black‑Box‑Modellen funktioniert, indem ein zugängliches Lehrer‑Modell zur „Teacher‑Forcing“-Methode eingesetzt wird.

Experimentelle Tests zeigen, dass AvgWD und EigenWD mit etablierten Unsicherheitsbaselines konkurrieren und gleichzeitig unterschiedliche Verhaltensmuster über Modelle und Datensätze hinweg aufweisen. Die Ergebnisse unterstreichen die Wirksamkeit der Verteilungs­komplexität als Signal für die Wahrhaftigkeit von LLM‑Antworten.