KI-Modelle entwirren Gedanken: Dynamische Manifold‑Trennung bei der Logik

Chain‑of‑Thought‑Prompting hat die Fähigkeit großer Sprachmodelle, komplexe Probleme zu lösen, deutlich verbessert – doch die zeitlichen Veränderungen der zugrunde liegenden Repräsentationsgeometrie blieben bislang im Dunkeln. In einer neuen Studie wurde dafür die Manifold Capacity Theory (MCT) auf eine zusammengesetzte Boolesche Logikaufgabe angewendet. Dadurch konnte die lineare Trennbarkeit der latenten Darstellungen exakt gemessen werden, ohne dass ein zusätzlicher Probe‑Training‑Schritt nötig war.

Die Analyse zeigte, dass das Rechnen als kurzlebiger geometrischer Impuls wirkt: Kurz bevor die eigentliche Berechnung stattfindet, werden die Konzept‑Manifolds in linear trennbare Teilräume entwirrt. Sofort danach werden diese Strukturen wieder stark komprimiert. Dieses Verhalten weicht deutlich von der klassischen linearen Probe‑Genauigkeit ab, die lange nach der Berechnung noch hoch bleibt. Damit wird ein fundamentaler Unterschied zwischen einfach abrufbarer Information und Information, die geometrisch für die Verarbeitung vorbereitet ist, deutlich.

Die Autoren interpretieren dieses Phänomen als „Dynamic Manifold Management“. Dabei moduliert das Modell dynamisch seine Repräsentationskapazität, um den Bandbreitenbedarf des Rest‑Streams entlang der gesamten Argumentationskette zu optimieren. Diese Erkenntnis eröffnet neue Perspektiven für die Gestaltung effizienterer und nachvollziehbarer KI‑Systeme.