ECLIPSE reduziert Halluzinationen in Finanzfragen um 92 %

Große Sprachmodelle liefern zwar fließende Antworten, doch häufig ohne die nötige Basis – sogenannte Halluzinationen. Das stellt ein ernstes Hindernis für den Einsatz in hochriskanten Bereichen wie der Finanzanalyse dar.

Mit dem neuen Ansatz ECLIPSE wird das Problem als Missverhältnis zwischen der semantischen Entropie des Modells und der Kapazität der verfügbaren Belege definiert. Durch die Kombination von Entropieberechnungen mittels Mehrfach-Sample-Clustering und einer innovativen Perplexitätszerlegung, die misst, wie das Modell auf abgerufene Belege zurückgreift, entsteht ein eindeutig konvexes Optimierungsziel.

In einer kontrollierten Finanzfrage-Antwort-Datenbank mit 200 ausgewogenen Stichproben, die synthetische Halluzinationen enthielten, erreichte ECLIPSE einen ROC‑AUC von 0,89 und eine durchschnittliche Präzision von 0,90 – deutlich besser als die reine semantische Entropie als Basis (AUC 0,50). Eine Ablation mit Claude‑3‑Haiku, das keine token‑level Log‑Wahrscheinlichkeiten liefert, führte zu einem AUC von 0,59 und einer Reduktion der Koeffizienten um 95 %, was zeigt, dass ECLIPSE auf token‑level Unsicherheiten angewiesen ist. Die größten Koeffizienten stammten aus den Perplexitätszerlegungsmerkmalen, was die zentrale Rolle der Belegnutzung bei der Halluzinationsdetektion unterstreicht.

Die Autoren betonen, dass es sich um eine kontrollierte Mechanismusstudie handelt und die Validierung in weiteren Domänen sowie bei natürlich auftretenden Halluzinationen noch aussteht.