Neue Methode misst Unsicherheit in Sprachmodellen durch Layer-Interaktionen

Sprachmodelle wie GPT-4 können mit großer Zuversicht falsche Antworten liefern. Deshalb ist eine zuverlässige Schätzung der Unsicherheit entscheidend. Eine neue Studie präsentiert einen kompaktiven Ansatz, der die Übereinstimmung von Merkmalen in den internen Schichten eines Modells nutzt, um die Unsicherheit pro Eingabe zu bewerten.

Der Ansatz erfordert nur einen einzigen Vorwärtspass und bewertet die Muster der Übereinstimmung zwischen den Schichten. In Tests mit drei unterschiedlichen Modellen zeigte die Methode die gleiche Genauigkeit wie herkömmliche, aufwendigere Probe-Methoden, wobei die durchschnittliche Differenz im AUPRC bei maximal 1,8 % und im Brier‑Score bei 4,9 Punkten lag.

Besonders beeindruckend ist die Leistung bei der Übertragung auf andere Datensätze: Die Methode übertraf die Probe-Ansätze konsequent, erzielte bis zu 2,86 % höhere AUPRC‑Werte und 21,02 Punkte Brier‑Score. Auch bei einer 4‑Bit‑Gewichtsquantisierung blieb die Methode robust und verbesserte die Ergebnisse um 1,94 % AUPRC und 5,33 Punkte Brier‑Score.

Darüber hinaus ermöglicht die Analyse der Layer‑Layer‑Interaktionen Einblicke in die unterschiedlichen Unsicherheitskodierungen verschiedener Modelle. Insgesamt bietet die neue Methode einen leichten, kompakten Weg, um transferierbare Unsicherheitsinformationen in großen Sprachmodellen zu erfassen.