Neues Modell nutzt mathematische Dynamik für effizientes algorithmisches Denken

Die meisten großen Sprachmodelle (LLMs) setzen auf lineare Sequenzgenerierung und riesige Parameterzahlen, doch sie kämpfen stark mit komplexen algorithmischen Aufgaben. Neuere Architekturen wie das Hierarchical Reasoning Model (HRM) und das Tiny Recursive Model (TRM) zeigen, dass kompakte rekursive Netzwerke solche Probleme lösen können, jedoch fehlt ihnen oft eine solide mathematische Basis, was zu Instabilität und Kollaps der Repräsentationen führt.

Das Contraction Mapping Model (CMM) bietet eine neue Lösung: Es wandelt diskrete rekursive Logik in kontinuierliche neuronale gewöhnliche und stochastische Differentialgleichungen (NODEs/NSDEs) um. Durch die explizite Forderung, dass sich die latente Phase zu einem stabilen Gleichgewichtspunkt konvergiert, und die Einführung eines hypersphärischen Repräsentationsverlusts, verhindert das CMM Feature-Collapse und sorgt für stabile Trainingsdynamiken.

Auf dem Sudoku-Extreme Benchmark erzielt ein 5‑Mio‑Parameter‑CMM mit 93,7 % die bisher höchste Genauigkeit und übertrifft damit das 27‑Mio‑Parameter‑HRM (55 %) sowie das 5‑Mio‑Parameter‑TRM (87,4 %). Selbst bei einer drastischen Kompression auf nur 0,26 Mio Parameter bleibt das Modell stark: 85,4 % bei Sudoku-Extreme und 82,2 % beim Maze Benchmark. Diese Ergebnisse demonstrieren, dass mathematisch fundierte latente Dynamiken die Notwendigkeit von massiver Skalierung in der künstlichen Intelligenz drastisch reduzieren können.