LLMs zeigen echte Selbstreflexion – neue Introspect-Bench‑Suite bestätigt

Die Fähigkeit zur Selbstreflexion gilt als Schlüsselmerkmal menschlicher Intelligenz. In den letzten Jahren hat sich diese Eigenschaft auch bei großen Sprachmodellen (LLMs) als vielversprechend, aber umstritten erwiesen. Oft lässt sich die angezeigte „Introspektion“ jedoch nicht eindeutig von generellem Weltwissen oder rein textbasierten Selbstsimulationen unterscheiden.

Um dieses Problem zu lösen, hat ein neues Forschungsteam eine systematische Taxonomie entwickelt, die Introspektion als latente Berechnung spezifischer Operatoren über die Policy und die Parameter eines Modells definiert. Damit wird die Fähigkeit, über die eigenen Entscheidungsprozesse nachzudenken, klarer abgrenzbar.

Zur Überprüfung dieser Definition wurde Introspect‑Bench ins Leben gerufen – ein mehrdimensionales Evaluationspaket, das LLMs rigoros auf ihre introspektiven Kompetenzen testet. Die Suite umfasst Aufgaben, die gezielt die interne Modellpolitik und deren Einfluss auf das Verhalten untersuchen.

Die Ergebnisse zeigen, dass die führenden Modelle einen privilegierten Zugriff auf ihre eigenen Policies besitzen und damit ihre zukünftigen Handlungen besser vorhersagen können als ihre Konkurrenten. Diese Differenzierung unterstreicht, dass Introspektion bei modernen LLMs nicht bloß ein Produkt von generellem Wissen ist.

Darüber hinaus liefert die Studie kausale und mechanistische Belege dafür, wie LLMs ohne explizite Trainingsanweisungen introspektiv lernen. Der Mechanismus beruht auf einer Diffusion von Aufmerksamkeit innerhalb des Modells, die die Selbstreflexion organisch aus den vorhandenen Strukturen herausführt.