Stabilität von Minimum‑Norm‑Interpolations‑Deep‑ReLU‑Netzwerken: Bedingungen

In der aktuellen Forschung wird die Stabilität von Deep‑Neural‑Netzwerken – also deren Fähigkeit, bei kleinen Änderungen im Trainingsdatensatz robust zu bleiben – immer wichtiger. Ein neues arXiv‑Veröffentlichung untersucht genau diese Stabilität bei ReLU‑Netzwerken, die mit dem kleinsten L₂‑Norm‑Parameter trainiert werden und damit exakt die Trainingsdaten interpolieren.

Die Autoren zeigen, dass solche Netzwerke stabil sind, wenn sie ein stabiles Teilnetz enthalten und anschließend eine Schicht mit einer niedrigrangigen Gewichtsmatrix nutzen. Diese Kombination sorgt dafür, dass das Modell nicht zu empfindlich auf einzelne Trainingspunkte reagiert. Im Gegensatz dazu kann die Stabilität verloren gehen, wenn die nächste Schicht nicht niedrigrangig ist, selbst wenn ein stabiler Teil vorhanden ist.

Die Low‑Rank‑Annahme stützt sich auf jüngste theoretische und experimentelle Befunde, die zeigen, dass das Training von tiefen Netzwerken tendenziell zu niedrigrangigen Gewichtsmatrizen führt – ein Effekt, der sowohl bei Minimum‑Norm‑Interpolation als auch bei Gewichtsdämpfung beobachtet wird. Diese Erkenntnisse liefern wichtige Hinweise für die Gestaltung robuster Deep‑Learning‑Modelle und eröffnen neue Wege, die Generalisierung von überparametrisierten Netzwerken besser zu verstehen.