LLMs zeigen schwache Selbstreflexion – Ergebnisse zu Anthropic‑Behauptungen

Eine neue Untersuchung prüft die jüngsten Behauptungen von Anthropic, dass moderne Sprachmodelle in der Lage seien, in sich selbst nach „eingebetteten Konzepten“ zu suchen und diese zu benennen. Der Fokus liegt dabei auf dem Meta‑Llama‑3.1‑8B‑Instruct, einem Modell, das deutlich kleiner ist als die in der ursprünglichen Studie verwendeten Giganten.

Die Forscher konnten die von Anthropic berichteten 20 % Erfolgsquote exakt reproduzieren: Unter Verwendung des originalen Pipelines identifiziert das Modell das injizierte Konzept in einem Fünftel der Versuche. Damit wird gezeigt, dass die Fähigkeit zur „emergenten Introspektion“ nicht ausschließlich bei sehr großen Modellen auftritt.

Ein systematischer Prompt‑Test offenbarte jedoch die Schwäche dieser Introspektion. Bei leicht veränderten Aufgaben – etwa Multiple‑Choice‑Fragen oder binären Diskriminierungsaufgaben – verschwindet die Erkennungsrate fast vollständig. Die Ergebnisse deuten darauf hin, dass die Selbstreflexion stark von der Formulierung des Eingabe‑Prompts abhängt.

Interessanterweise zeigte das Modell in einem anderen Bereich eine robuste Leistung: Es kann die Stärke eines normalisierten, injizierten Konzeptvektors zuverlässig klassifizieren – von schwach bis sehr stark – mit einer Genauigkeit von bis zu 70 %. Das liegt deutlich über dem Zufallswert von 25 % und liefert zusätzliche Hinweise darauf, dass Sprachmodelle tatsächlich Funktionen ihrer internen Repräsentationen berechnen.

Zusammenfassend liefern die Befunde weitere Belege dafür, dass Sprachmodelle in begrenztem Maße über ihre eigenen Repräsentationen Bescheid wissen. Die Selbstberichte bleiben jedoch eng gefasst und stark prompt‑sensitiv. Der zugehörige Code ist auf GitHub verfügbar: https://github.com/elyhahami18/CS2881-Introspection.