Flüssige Repräsentationen in Denkmodellen

Ein neues arXiv‑Paper enthüllt, wie Sprachmodelle, die lange Denkhypothesen erzeugen, abstrakte Aufgaben deutlich besser lösen als Modelle ohne solche Denkprozesse. Die zugrunde liegenden Mechanismen bleiben bislang wenig verstanden.

Die Autoren analysieren das Modell QwQ‑32B, das gezielt dafür trainiert wurde, umfangreiche Denktraces zu generieren. In einem semantisch verschleierten Planungsbereich namens Mystery Blocksworld zeigen sie, dass QwQ‑32B seine internen Repräsentationen von Aktionen und Konzepten während des Denkens schrittweise verbessert. Das Modell entwickelt abstrakte Encodings, die sich auf die zugrunde liegende Struktur konzentrieren, anstatt auf spezifische Aktionsnamen.

Durch gezielte Steuerungsexperimente liefern die Forscher kausale Belege dafür, dass diese Anpassungen die Problemlösungskompetenz steigern: Das Einfügen verfeinerter Repräsentationen aus erfolgreichen Traces erhöht die Genauigkeit, während symbolische Darstellungen viele verschleierte Encodings mit minimalem Leistungsverlust ersetzen können. Die Studie identifiziert die in‑Kontext‑Verfeinerung von Token‑Repräsentationen als einen Schlüsselfaktor für die Leistungsfähigkeit von Denkmodellen – ein Konzept, das sie „Flüssige Denkrepräsentationen“ nennen.