mHC-lite: Mehr Stabilität ohne 20 Sinkhorn‑Knopp Iterationen

DeepSeek hat mit mHC-lite einen wichtigen Schritt in Richtung stabilerer und effizienterer tiefer neuronaler Netze gemacht. Das neue Verfahren ersetzt die bisherige, rechenintensive Sinkhorn‑Knopp Normalisierung durch eine elegante Reparametrisierung, die exakt doppelt stochastische Matrizen erzeugt.

Die Vorgängerversion mHC nutzt iterative Sinkhorn‑Knopp‑Schritte, um die Residualmatrizen auf den Birkhoff‑Polytope zu projizieren. Dabei bleiben jedoch immer noch Approximationen, die sich über die Tiefe des Netzes aufsummieren und die Trainingsstabilität gefährden können. Zudem erfordert die effiziente Umsetzung spezialisierte CUDA‑Kernels, was die Portabilität einschränkt.

mHC-lite greift auf das Birkhoff‑von‑Neumann‑Theorem zurück und konstruiert die Matrizen als konvexe Kombinationen von Permutationsmatrizen. Dadurch ist die doppelte Stochastizität von Anfang an garantiert, und die Implementierung kann ausschließlich mit nativen Matrixoperationen realisiert werden – ohne zusätzliche GPU‑Spezialcode.

Experimentelle Ergebnisse zeigen, dass mHC-lite die Leistung von mHC gleichwertig oder sogar übertrifft, während die Trainingsdurchsatzrate mit einer einfachen Implementierung deutlich steigt. Gleichzeitig verschwinden die bei HC und mHC beobachteten Residualinstabilitäten. Der Quellcode ist frei verfügbar unter https://github.com/FFTYYY/mhc-lite.