Gradient Flow in Deep Equilibrium Single-Index Modellen: Theoretische Durchbrüche

Deep Equilibrium Models (DEQs) haben sich in den letzten Jahren als äußerst leistungsfähiges Paradigma für das Training unendlich tiefer, gewichtsgereicher neuronaler Netzwerke etabliert. Sie erzielen Spitzenleistungen in einer Vielzahl moderner Machine‑Learning‑Aufgaben und sind daher ein heiß diskutiertes Thema in der Forschung.

In der neuen Arbeit von ArXiv:2511.16976v1 wird die Gradient‑Descent‑Dynamik von DEQs in einem vereinfachten Rahmen – lineare Modelle und Single‑Index‑Modelle – rigoros untersucht. Die Autoren beweisen einen Erhaltungssatz für lineare DEQs, der zeigt, dass die Parameter während des Trainings auf Kugeln eingeschlossen bleiben. Diese Eigenschaft ermöglicht es, dass der Gradient‑Flow für alle Zeitpunkte gut konditioniert bleibt.

Darüber hinaus wird gezeigt, dass Gradient‑Descent unter geeigneter Initialisierung und mit einer ausreichend kleinen Schrittweite linear konvergiert und einen globalen Minima erreicht – sowohl für lineare DEQs als auch für tiefe Gleichgewicht‑Single‑Index‑Modelle. Diese Resultate schließen mehrere Lücken in der bisherigen Literatur und liefern ein klares Bild der Lerndynamik in diesen Modellen.

Schließlich bestätigen experimentelle Untersuchungen die theoretischen Erkenntnisse. Die Ergebnisse unterstreichen die Stabilität und Effizienz von DEQs und eröffnen neue Perspektiven für die theoretische Analyse tiefer neuronaler Architekturen.