LLMs zeigen begrenzte Metakognition – neue Studie liefert Beweise

Eine aktuelle Veröffentlichung auf arXiv (2509.21545v1) präsentiert eine innovative Methode, um die Metakognitionsfähigkeiten von großen Sprachmodellen (LLMs) quantitativ zu prüfen. Statt auf Selbstberichte der Modelle zu setzen, untersucht die Studie, wie gut LLMs ihr internes Wissen strategisch einsetzen können.

Durch zwei experimentelle Paradigmen konnte gezeigt werden, dass seit Anfang 2024 verbesserte LLMs zunehmend die Fähigkeit besitzen, ihr eigenes Vertrauen in die Richtigkeit von Fakten- und Logikantworten einzuschätzen. Sie können zudem vorhersagen, welche Antwort sie geben würden, und diese Information gezielt nutzen.

Die Analyse der Token-Wahrscheinlichkeiten legt nahe, dass ein internes Signal existiert, das die Grundlage für diese Metakognition bildet. Gleichzeitig weisen die Ergebnisse darauf hin, dass die Fähigkeiten in ihrer Auflösung begrenzt sind, kontextabhängig auftreten und sich qualitativ von menschlicher Metakognition unterscheiden. Unterschiede zwischen Modellen ähnlicher Leistungsstufe deuten darauf hin, dass die Nachtrainingsphase eine entscheidende Rolle bei der Entwicklung dieser Fähigkeiten spielt.