SpikeScore: Neue Methode erkennt Halluzinationen über Domains hinweg

Halluzinationen in großen Sprachmodellen stellen ein zentrales Hindernis für deren Einsatz in der Praxis dar. Während aktuelle Detektionsverfahren bei Daten aus dem gleichen Domainbereich gute Ergebnisse liefern, versagen sie häufig, wenn sie auf andere, verwandte Domains übertragen werden.

In der vorliegenden Arbeit wird das bislang wenig beachtete Problem der generalisierbaren Halluzinationserkennung (GHD) adressiert. Ziel ist es, Detektoren anhand von Daten aus einer einzigen Domäne zu trainieren und gleichzeitig robuste Leistungen über verschiedene, aber verwandte Domänen hinweg zu gewährleisten.

Durch die Simulation von Mehrfachdialogen, die auf den ersten Antwort eines LLM folgen, wurde ein interessantes Phänomen entdeckt: Dialoge, die mit Halluzinationen beginnen, zeigen im Vergleich zu faktenbasierten Dialogen über sämtliche Domains hinweg deutlich größere Schwankungen in der Unsicherheit.

Auf Basis dieser Beobachtung wurde der neue Score SpikeScore entwickelt, der abrupte Schwankungen in Mehrfachdialogen quantifiziert. Sowohl theoretische Analysen als auch empirische Tests zeigen, dass SpikeScore eine starke Trennung zwischen halluzinierten und nicht halluzinierten Antworten über verschiedene Domains hinweg ermöglicht.

Experimentelle Ergebnisse mit mehreren LLMs und Benchmarks belegen, dass die SpikeScore-basierte Methode die bestehenden Baselines in der Cross‑Domain‑Generalisation übertrifft und sogar fortschrittliche, generalisierungsorientierte Ansätze überbietet. Damit demonstriert die Studie die Wirksamkeit von SpikeScore für die Erkennung von Halluzinationen über Domains hinweg.