KI erkennt Zeilenlänge: Geometrische Analyse von Claude 3.5 Haiku

Eine neue Studie aus dem arXiv‑Repository beleuchtet, wie Sprachmodelle wie Claude 3.5 Haiku die Aufgabe des Zeilenumbruchs in festbreiten Texten meistern. Dabei wird gezeigt, dass die Modelle nicht nur Token‑Sequenzen verarbeiten, sondern auch visuelle Eigenschaften von Text erkennen können.

Die Forscher haben die Mechanismen des Modells aufgedeckt: Zeichen­zahlen werden in niedrigdimensionalen, gekrümmten Mannigfaltigkeiten dargestellt, die von spärlichen Merkmalfamilien discretisiert werden – ein Phänomen, das an biologische Ortszellen erinnert. Durch eine Reihe geometrischer Transformationen – die Akkumulation von Tokenlängen, die Drehung dieser Mannigfaltigkeiten durch Aufmerksamkeits­köpfe und die orthogonale Anordnung der Schätzungen – entsteht eine lineare Entscheidungs­grenze, die den Zeilenumbruch bestimmt.

Die Ergebnisse wurden mittels kausaler Interventionen bestätigt, und die Autoren entdeckten sogar optische Täuschungen: bestimmte Zeichensequenzen können das Zählmechanismus des Modells manipulieren. Diese Erkenntnisse unterstreichen die komplexe sensorische Verarbeitung in frühen Modellausgaben, die Feinheiten der Aufmerksamkeitsalgorithmen und die Notwendigkeit, feature‑basierte und geometrische Sichtweisen zu kombinieren, um die Interpretierbarkeit von KI-Systemen besser zu verstehen.