LatentAudit: Echtzeit-Überwachung der Vertrauenswürdigkeit bei RAG

Retrieval‑Augmented Generation (RAG) reduziert zwar Halluzinationen, eliminiert sie jedoch nicht vollständig. Ein produktiv eingesetztes System muss daher bei jeder Inferenz prüfen, ob die generierte Antwort tatsächlich durch die abgerufenen Belege gestützt wird. Mit LatentAudit wird diese Prüfung zum White‑Box‑Auditor, der die mittleren bis späten Residual‑Stream‑Aktivierungen eines Open‑Weight‑Generators sammelt und deren Mahalanobis‑Distanz zur Repräsentation der Belege misst.

Die daraus resultierende quadratische Regel benötigt kein zusätzliches Urteilssystem, läuft in Echtzeit während der Generierung und lässt sich dank ihrer Einfachheit auf einer kleinen Hold‑Out‑Menge kalibrieren. Untersuchungen zeigen, dass die Geometrie des Residual‑Streams ein brauchbares Vertrauenssignal liefert, das sowohl bei Architekturänderungen als auch bei realistischen Retrieval‑Fehlern erhalten bleibt. Darüber hinaus bleibt die Regel öffentlich verifizierbar.

In Tests mit PubMedQA und dem Modell Llama‑3‑8B erreicht LatentAudit einen AUROC von 0,942 bei einem Overhead von lediglich 0,77 ms. Auf drei weiteren QA‑Benchmarks und fünf Modellfamilien (Llama‑2/3, Qwen‑2.5/3, Mistral) bleibt die Überwachung stabil. Unter einem vier‑Wege‑Stresstest, der Widersprüche, Retrieval‑Fehlermeldungen und teilweise unterstützende Rauschelemente simuliert, erzielt die Regel AUROC‑Werte zwischen 0,9566 und 0,9815 bei PubMedQA sowie zwischen 0,9142 und 0,9315 bei HotpotQA.

Bei 16‑Bit‑Fixed‑Point‑Präzision behält die Auditrule 99,8 % des FP16‑AUROC bei, was eine Groth16‑basierte öffentliche Verifikation ermöglicht, ohne Modellgewichte oder Aktivierungen preiszugeben. Diese Ergebnisse etablieren die Residual‑Stream‑Geometrie als praktikable Grundlage für die Echtzeit‑Überwachung der Vertrauenswürdigkeit in RAG‑Systemen und eröffnen zugleich die Möglichkeit eines optional verifizierbaren Deployments.