Transformer-Modelle meistern Collatz‑Sequenz: 99,7 % Genauigkeit bei bestimmten Basen

Eine neue Studie auf arXiv untersucht, wie Transformer‑Modelle die langen Schritte der Collatz‑Sequenz vorhersagen können – ein komplexes arithmetisches Problem, das ungerade Zahlen in ihre weit entfernten Nachfolger überführt. Die Forscher haben verschiedene Basen zur Codierung von Eingaben und Ausgaben getestet und dabei erstaunliche Unterschiede in der Genauigkeit festgestellt.

Bei der Basis 24 und 32 erreichen die Modelle eine Genauigkeit von bis zu 99,7 %. In stark kontrastierenden Fällen liegen die Trefferquoten bei Basis 11 bei 37 % und bei Basis 3 bei lediglich 25 %. Trotz dieser Schwankungen folgt jedes Modell einem gemeinsamen Lernmuster.

Während des Trainings lernen die Modelle, Eingaben in Klassen zu gruppieren, die denselben Rest modulo 2ⁿ teilen. Für diese Klassen erzielen sie nahezu perfekte Trefferquoten, während sie bei allen anderen Eingaben weniger als 1 % erreichen. Dieses Verhalten spiegelt eine mathematische Eigenschaft der Collatz‑Sequenz wider: die Länge der Schleifen, die bei der Berechnung eines langen Schritts auftreten, lässt sich aus der binären Darstellung der Eingabe ableiten.

Eine detaillierte Analyse der Fehler zeigt, dass fast alle Fehler nach vorhersehbaren Mustern auftreten. Halluzinationen – ein häufiges Phänomen bei großen Sprachmodellen – treten nahezu nicht auf. In über 90 % der Fehlerfälle führt das Modell die korrekte Berechnung durch, schätzt jedoch die Schleifenlänge falsch. Diese Beobachtungen liefern einen vollständigen Einblick in die von den Modellen erlernten Algorithmen.

Die Ergebnisse deuten darauf hin, dass die größte Herausforderung beim Lernen dieser komplexen arithmetischen Funktion darin besteht, die Kontrollstruktur der Berechnung – insbesondere die Schleifenlängen – zu erfassen. Die Autoren sehen in ihrem Ansatz einen vielversprechenden Weg, um die Grenzen von Transformer‑Modellen bei der Lösung mathematischer Probleme weiter zu verschieben.