LLMs: Drei Ursachen für Unsicherheit – Ein neues Analysemodell

Die Zuverlässigkeit großer Sprachmodelle (LLMs) hängt entscheidend davon ab, wie gut wir ihre Unsicherheit verstehen. Traditionelle Methoden, die lediglich einen einzigen Unsicherheitswert liefern oder die klassische Unterscheidung zwischen aleatorischer und epistemischer Unsicherheit nutzen, reichen nicht aus, um gezielte Verbesserungen vorzunehmen.

In einer neuen Studie wird ein Decompositionsrahmen vorgestellt, der die Unsicherheit von LLMs in drei semantische Komponenten aufteilt: (i) Eingangsambiguïät, die aus mehrdeutigen Eingabeaufforderungen entsteht; (ii) Wissenslücken, die durch unzureichende parametrierte Evidenz verursacht werden; und (iii) Decodierungszufälligkeit, die aus stochastischem Sampling resultiert.

Durch umfangreiche Experimente zeigt die Arbeit, dass die Dominanz dieser Komponenten je nach Modellgröße und Aufgabenstellung variiert. Dieser Ansatz liefert ein tieferes Verständnis dafür, wie man LLMs auditieren, Halluzinationen erkennen und gezielte Interventionen entwickeln kann, um vertrauenswürdige Systeme zu schaffen.