Kontraktive Regularisierung stärkt Convolutional NODEs gegen Rauschen

Neues arXiv‑Paper (ID 2508.11432v1) zeigt, wie Convolutional Neural Ordinary Differential Equations (NODEs) durch kontraktive Regularisierung robuster gegen Eingaberauschen und Angriffe werden können. Die Autoren nutzen die Theorie der Kontraktion, die garantiert, dass zwei Trajektorien eines dynamischen Systems, die aus unterschiedlichen Startwerten starten, sich exponentiell annähern. Dadurch bleiben die Ausgaben eines kontraktiven NODEs bei kleinen Störungen stabil.

Um die Kontraktion während des Trainings zu erzwingen, wird ein Regularisierungsterm eingeführt, der die Jacobi‑Matrix der Systemdynamik berücksichtigt. Um den Rechenaufwand zu reduzieren, zeigen die Forscher, dass dieselbe Wirkung auch durch gezielte Gewichtungsregularisierung bei NODEs mit steilheitsbeschränkten Aktivierungsfunktionen erreicht werden kann. Damit bleibt die Modellkomplexität gering, während die Robustheit signifikant steigt.

Die Effektivität der neuen Regularisierer wird anhand von Bildklassifikationsaufgaben auf den MNIST‑ und FashionMNIST‑Datensätzen demonstriert. Dort werden die Bilder mit verschiedenen Arten von Rauschen und gezielten Angriffen versehentlich verändert. Die kontraktiven NODEs liefern dabei deutlich bessere Ergebnisse als Standard‑NODEs, was die praktische Relevanz der Methode unterstreicht.