Neues Verfahren: Multigrade Deep Learning reduziert Fehler in tiefen Netzwerken

Forscher haben ein neues Konzept namens Multigrade Deep Learning (MGDL) vorgestellt, das die Art und Weise revolutioniert, wie tiefgehende neuronale Netzwerke trainiert werden. MGDL nutzt einen strukturierten Ansatz zur Fehlerverfeinerung, bei dem das Netzwerk schrittweise in „Grades“ trainiert wird.

Im Gegensatz zu herkömmlichen Methoden, bei denen das Training sehr tiefer Architekturen oft durch nicht-konvexe und schlecht konditionierte Optimierungslandschaften erschwert wird, setzt MGDL auf die Stabilität von flacheren Modellen. Besonders bei einschichtigen ReLU-Netzen lassen sich Trainingsprozesse in konvexe Reformulierungen überführen, die globale Garantien bieten. MGDL übernimmt diese Erkenntnis und trainiert tiefere Netzwerke schrittweise: bereits erlernte Grades werden eingefroren, während jeder neue Residualblock ausschließlich darauf abzielt, den verbleibenden Approximationfehler zu reduzieren.

Die Autoren haben eine operatortheoretische Grundlage für MGDL entwickelt und bewiesen, dass für jede stetige Zielfunktion ein festbreites Multigrade-ReLU-Schema existiert, dessen Residuen in jedem Grade strikt abnehmen und gleichmäßig gegen Null konvergieren. Damit liefert die Arbeit erstmals eine rigorose theoretische Garantie dafür, dass graduelles Training tatsächlich zu einem verschwindenden Approximationfehler in tiefen Netzwerken führt.

Numerische Experimente bestätigen die theoretischen Erkenntnisse und zeigen, dass MGDL nicht nur die Stabilität verbessert, sondern auch die Lernleistung in tiefen neuronalen Netzwerken signifikant steigert.