IntSeqBERT: Modulo‑Spectrum‑Embeddings entschlüsseln OEIS‑Sequenzen

Die neue Methode IntSeqBERT nutzt einen Dual‑Stream‑Transformer, um ganze Integer‑Sequenzen aus der OEIS-Datenbank zu modellieren. Dabei werden jedes Sequenzelement gleichzeitig über eine kontinuierliche Log‑Skalen‑Magnitude‑Einbettung und sinus‑/cosinus‑Modulo‑Einbettungen für 100 Residuen (Moduli 2 bis 101) kodiert. Die beiden Ströme werden mittels FiLM zusammengeführt.

IntSeqBERT verfügt über drei Vorhersage‑Köpfe: eine Regression für die Magnitude, eine Klassifikation des Vorzeichens und eine Modulo‑Vorhersage für alle 100 Moduli. Das Modell wurde auf 274 705 OEIS‑Sequenzen trainiert und erreicht mit 91,5 M Parametern eine Magnitude‑Genauigkeit von 95,85 % sowie eine Mittelwert‑Modulo‑Genauigkeit (MMA) von 50,38 %. Damit übertrifft es einen Standard‑Token‑Transformer um 8,9 % in der Magnitude‑Genauigkeit und um 4,5 % in der MMA.

Eine Ablation, bei der der Modulo‑Stream entfernt wird, zeigt, dass dieser für einen Gewinn von 15,2 % in der MMA und zusätzlich 6,2 % in der Magnitude‑Genauigkeit verantwortlich ist. Durch einen probabilistischen Solver, der die Chinese‑Remainder‑Theorem‑Logik nutzt, werden die Modellvorhersagen in konkrete Integer umgewandelt. Das Ergebnis ist ein 7,4‑faches Verbesserungspotenzial bei der Vorhersage des nächsten Terms (Top‑1‑Genauigkeit 19,09 % gegenüber 2,59 % des Basismodells).

Eine Analyse des Modulo‑Spektrums zeigt eine starke negative Korrelation zwischen dem Normalized Information Gain (NIG) und dem Euler‑Totient‑Verhältnis φ(m)/m (r = –0,851, p < 10⁻²⁸). Diese Beobachtung liefert empirische Belege dafür, dass die Modulo‑Struktur einen wesentlichen Beitrag zur Leistungssteigerung von IntSeqBERT leistet.