Neue Methode zur Unsicherheitsquantifizierung bei generativen Modellen

In einem wichtigen Schritt zur Vertrauenswürdigkeit generativer Modelle präsentiert ein neues Forschungsprojekt einen flexiblen Ansatz zur Unsicherheitsquantifizierung (UQ). Der Ansatz, genannt Directional Concentration Uncertainty (DCU), nutzt die statistische Verteilung von von Mises‑Fisher (vMF), um die Konzentration von Embeddings zu messen. Dabei wird die geometrische Streuung mehrerer von einem Sprachmodell erzeugter Ausgaben anhand kontinuierlicher Embeddings erfasst – ohne auf spezifische heuristische Regeln zurückzugreifen.

Die Ergebnisse zeigen, dass DCU die Kalibrierungswerte etablierter Methoden wie der semantischen Entropie (Kuhn et al., 2023) erreicht oder sogar übertrifft. Darüber hinaus demonstriert die Methode eine robuste Generalisierung auf komplexere Aufgaben in multimodalen Domänen. Das vorgestellte Framework eröffnet neue Möglichkeiten, DCU in UQ-Strategien für multimodale und agentische Systeme zu integrieren und damit die Zuverlässigkeit generativer KI weiter zu erhöhen.