LLM-Schritte prüfen: Unsicherheitsköpfe liefern schnelle Verifikation

In einer neuen Studie wird ein schlanker Ansatz vorgestellt, mit dem große Sprachmodelle (LLMs) ihre eigenen Rechenschritte zuverlässig prüfen können. Anstelle auf teure, domänenspezifische Modelle zurückzugreifen, nutzen die Forscher sogenannte Unsicherheitsköpfe (UHeads), die die internen Zustände eines eingefrorenen LLMs analysieren, um die Unsicherheit einzelner Schritte zu schätzen.

Die UHeads sind transformerbasiert und werden mit Daten trainiert, die entweder von einem noch größeren LLM oder selbstgeneriert durch das Modell selbst stammen. Dadurch entfällt die Notwendigkeit umfangreicher menschlicher oder modellgenerierter Annotationen. Mit weniger als 10 Millionen Parametern bleiben die Köpfe extrem leichtgewichtig, während sie gleichzeitig die volle Leistungsfähigkeit des zugrunde liegenden Modells nutzen.

In Tests über mehrere Domänen hinweg – von Mathematik über Planung bis hin zu allgemeinen Wissensfragen – erreichen die UHeads die gleiche oder sogar bessere Genauigkeit als Prozess-Reward-Modelle (PRMs), die bis zu 810-mal größer sind. Das Ergebnis zeigt, dass die internen Zustände eines LLMs bereits ein starkes Signal für die eigene Unsicherheit liefern.

Diese Erkenntnis eröffnet einen vielversprechenden Weg zu skalierbaren und allgemein einsetzbaren introspektiven LLMs. Durch die Kombination von Leichtgewichtigkeit, Automatisierung und hoher Genauigkeit könnten zukünftige Sprachmodelle ihre eigenen Fehler erkennen und korrigieren, ohne auf externe Ressourcen angewiesen zu sein.