KI‑Halluzinationen: Warum Sprachmodelle trotz Unsicherheit falsche Antworten geben

In einer brandaktuellen Studie von Forschern auf arXiv wird ein entscheidender Grund für die Halluzinationen von Sprachmodellen aufgedeckt: Sie erkennen zwar Unsicherheit in Eingaben, verknüpfen diese jedoch nicht korrekt mit der Ausgabe. Das Ergebnis ist, dass die Modelle trotz interner Warnsignale zu festen, aber falschen Antworten greifen.

Die Analyse zeigt, dass unsichere Eingaben in hochdimensionalen Bereichen liegen, die 2‑3‑mal so groß sind wie die für Fakten. Diese Unsicherheitssignale werden zwar erkannt, bleiben aber schwach mit der Ausgabeschicht verbunden. Sie wandern in Bereiche mit geringer Sensitivität, wo sie geometrisch verstärkt, aber funktionell still bleiben. Dadurch wird die interne Warnung nicht in die endgültige Antwort einfließen.

Topologische Untersuchungen belegen, dass Unsicherheitsdarstellungen fragmentiert bleiben, anstatt zu einem einheitlichen „Abstain“-Zustand zu konvergieren. Gradient- und Fisher‑Probes zeigen, dass die Sensitivität entlang der Unsicherheitsrichtung zusammenbricht. Da das Cross‑Entropy‑Training keine Anziehungskraft für „Abstain“ bietet und stattdessen jede selbstbewusste Vorhersage belohnt, verstärken assoziative Mechanismen diese zerbrochenen Aktivierungen, bis ein endgültiges, aber fehlerhaftes Ergebnis entsteht.

Durch gezielte kausale Interventionen konnte die Hypothese bestätigt werden: Sobald Unsicherheit direkt mit den Logits verknüpft wird, kehrt das Modell zu einer Ablehnung zurück. Diese Erkenntnis liefert einen klaren Weg, um Halluzinationen in KI‑Systemen zu reduzieren und die Zuverlässigkeit von Sprachmodellen zu erhöhen.