Semantic Grounding Index: Geometrische Grenzen der Kontextbindung in RAG-Systemen
In Retrieval‑Augmented Generation (RAG) Systemen führen Halluzinationen häufig zu unzuverlässigen Antworten. Forscher haben dafür einen neuen Messwert entwickelt, den Semantic Grounding Index (SGI), der die geometrische…
- In Retrieval‑Augmented Generation (RAG) Systemen führen Halluzinationen häufig zu unzuverlässigen Antworten.
- Forscher haben dafür einen neuen Messwert entwickelt, den Semantic Grounding Index (SGI), der die geometrische Beziehung zwischen Frage, Antwort und Kontext im Einheitsh…
- Der SGI ist definiert als das Verhältnis der Winkelabstände von Antwort zu Frage gegenüber Antwort zu Kontext.
In Retrieval‑Augmented Generation (RAG) Systemen führen Halluzinationen häufig zu unzuverlässigen Antworten. Forscher haben dafür einen neuen Messwert entwickelt, den Semantic Grounding Index (SGI), der die geometrische Beziehung zwischen Frage, Antwort und Kontext im Einheitshypersphäre‑Raum quantifiziert.
Der SGI ist definiert als das Verhältnis der Winkelabstände von Antwort zu Frage gegenüber Antwort zu Kontext. Ein hoher SGI‑Wert bedeutet, dass die Antwort näher an der Frage als an den zurückgeholten Kontexten liegt – ein Hinweis auf „semantische Faulheit“.
Auf der Benchmark‑Menge HaluEval mit 5.000 Beispielen zeigte der SGI starke Effekte: Cohen‑d‑Werte zwischen 0,92 und 1,28 über fünf Embedding‑Modelle, mit einer durchschnittlichen Korrelation von r = 0,85 zwischen den Modellen. Diese Ergebnisse bestätigen, dass Halluzinationen tendenziell näher an der Frage als an den Kontexten liegen.
Die Autoren nutzten die Kugel‑Dreiecksungleichung, um vorherzusagen, dass die Trennkraft des SGI mit zunehmender Winkelabstand zwischen Frage und Kontext steigt. Empirisch wurde dies bestätigt: Der Effektwert wächst monoton von d = 0,61 bei geringer Trennung bis d = 1,27 bei hoher Trennung, während die AUC von 0,72 auf 0,83 ansteigt.
Eine Untergruppen‑Analyse zeigte, dass der SGI besonders gut bei langen Antworten (d = 2,05) und kurzen Fragen (d = 1,22) funktioniert, während er über verschiedene Kontextlängen hinweg stabil bleibt.
Die Kalibrierung des SGI ergab einen ECE von 0,10, was darauf hinweist, dass die SGI‑Scores nicht nur Rangordnungen liefern, sondern auch als Wahrscheinlichkeitsabschätzungen genutzt werden können.
Ein negativer Befund bei TruthfulQA (AUC = 0,478) verdeutlicht, dass der SGI eher die thematische Bindung als die faktische Richtigkeit misst.
Insgesamt bietet der SGI eine rechnerisch effiziente, theoretisch fundierte Methode, um in Produktions‑RAG‑Deployments Antworten zu identifizieren, die einer zusätzlichen Verifikation bedürfen.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.
Kontext ohne Glossar-Suche
Wenn du nach dieser Meldung weiterlernen willst
Von dieser Meldung direkt in Hub, Analyse und Nachbarthemen
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.