Beispielreihenfolge steigert Genauigkeit bei modularer Arithmetik

In einem kontrollierten Experiment zur modularen Arithmetik mit dem Primzahl‑Parameter p = 9973 wurde ausschließlich die Reihenfolge der Trainingsbeispiele variiert, während alle anderen Faktoren konstant blieben. Das Ziel war es, die Auswirkungen der Beispielanordnung auf die Lernleistung eines neuronalen Modells zu untersuchen.

Erstaunlich erreichten zwei feste Reihenfolgestrategien bereits 99,5 % Testgenauigkeit nach nur 487 bzw. 659 Epochen, obwohl die Trainingsmenge lediglich 0,3 % des gesamten Eingaberaums ausmachte. Diese Resultate liegen deutlich unter den bekannten Sample‑Complexity‑Grenzen, die für zufällige (IID) Anordnungen gelten. Im Vergleich dazu erzielte ein IID‑Baseline-Modell nach 5 000 Epochen lediglich 0,30 % Genauigkeit. Eine bewusst gegnerisch strukturierte Reihenfolge verhinderte das Lernen vollständig.

Das Modell konstruierte zuverlässig eine Fourier‑Repräsentation, deren fundamentale Frequenz die Fourier‑Dualität der Reihenfolge widerspiegelt. Diese Frequenz enthielt Informationen, die in keinem einzelnen Trainingsbeispiel vorhanden waren, und tauchte bei allen getesteten Initialisierungen und Trainingssets gleich auf. Die Ergebnisse werfen neue Fragen zur Effizienz des Trainings, zur Neubewertung des Phänomens „Grokking“ und zur Funktionsweise von Lernkanälen auf, die herkömmliche inhaltliche Prüfungen umgehen.

Die Studie unterstreicht die potenziellen Sicherheitsrisiken, wenn Lernprozesse durch gezielte Reihenfolgen manipuliert werden können. Sie betont die Notwendigkeit, neben der Datenqualität auch die Reihenfolge der Beispiele in der Modellentwicklung zu berücksichtigen, um unerwartete Lernverhalten und mögliche Missbrauchsszenarien frühzeitig zu erkennen.