Neue geometrische Taxonomie klassifiziert Halluzinationen in Sprachmodellen

Wissenschaftler haben eine neue, geometrisch fundierte Klassifikation von Halluzinationen in großen Sprachmodellen (LLMs) vorgestellt. Die Arbeit, die auf arXiv veröffentlicht wurde, zeigt, dass der Begriff „Halluzination“ bislang zu viele unterschiedliche Phänomene vereint, die sich im Embedding‑Raum deutlich unterscheiden.

Die Autoren identifizieren drei Haupttypen: Unfaithfulness beschreibt das Versäumnis, sich an die bereitgestellten Kontextinformationen zu halten; Confabulation umfasst die Erfindung von semantisch fremden Inhalten; und Factual Error bezieht sich auf falsche Behauptungen innerhalb korrekter konzeptueller Rahmen.

Bei der Analyse von Standard‑Benchmarks, in denen Halluzinationen von LLMs erzeugt werden, zeigte sich eine starke Domänenabhängigkeit: Die AUROC‑Werte liegen zwischen 0,76 und 0,99 innerhalb einer Domäne, fallen aber auf 0,50 (Chanceniveau) beim übergreifenden Vergleich. Die diskriminierenden Richtungen sind nahezu orthogonal zwischen den Domänen (mittlere Kosinus‑Ähnlichkeit –0,07). Im Gegensatz dazu erreichen menschlich erstellte Confabulations – wie erfundene Institutionen oder neu definierte Terminologie – mit einer einzigen globalen Richtung einen AUROC von 0,96, wobei die Kreuzdomänen‑Degradation lediglich 3,8 % beträgt.

Die Autoren interpretieren diese Divergenz damit, dass Benchmarks vor allem stilistische Artefakte der generierten Inhalte erfassen, während menschlich erstellte Confabulations echte thematische Abweichungen widerspiegeln. Für den Typ III (Factual Error) liegt der AUROC bei 0,478, was praktisch dem Zufall entspricht. Dies verdeutlicht, dass Embeddings primär auf distributionale Kohärenz und nicht auf die Übereinstimmung mit externer Realität abzielen.

Die Studie liefert damit eine klare geometrische Taxonomie, die die Grenzen von embedding‑basierten Detektionsmethoden aufzeigt: Während Typ I und Typ II erkennbar sind, bleibt Typ III weitgehend unauffindbar. Diese Erkenntnisse sind ein wichtiger Schritt, um die Zuverlässigkeit von LLM‑Generierungen besser zu verstehen und zu verbessern.