Effizientes DNN-Training: Layer‑Freezing & Feature‑Map‑Caching neu gedacht

Mit dem rasanten Wachstum von neuronalen Netzwerken steigen auch die Kosten für deren Training. Eine vielversprechende Methode, die Rechenlast zu senken, ist das sogenannte Layer‑Freezing. Dabei werden bestimmte Schichten während des Trainings eingefroren, sodass ihre Gewichte nicht mehr aktualisiert werden. Doch selbst eingefrorene Schichten müssen im Vorwärtsdurchlauf noch ausgeführt werden, um Feature‑Maps für die unfrozen Schichten zu erzeugen. Das begrenzt die Einsparungen erheblich.

Frühere Ansätze haben versucht, diese Einschränkung zu umgehen, indem sie die Feature‑Maps der eingefrorenen Schichten als neues Dataset zwischenspeichern. Dadurch könnten spätere Schichten direkt auf den gespeicherten Maps trainieren. Diese Idee klingt simpel, birgt aber gravierende Probleme: Wie lassen sich Datenaugmentierungen korrekt auf die zwischengespeicherten Maps anwenden? Und welche Speicher­belastung entsteht durch das zusätzliche Zwischenspeichern?

Die vorliegende Arbeit ist die erste, die diese Fragen systematisch untersucht und praktikable Lösungen präsentiert. Für die Genauigkeit wird eine „similarity‑aware channel augmentation“ eingeführt, die nur die Kanäle speichert, die am empfindlichsten auf Augmentierungen reagieren, und dabei den Speicherbedarf minimiert. Um die Speicher­belastung weiter zu reduzieren, wird eine progressive Kompression eingesetzt, die bei zunehmender Anzahl eingefrorener Schichten die Kompressionsrate steigert. Auf den gängigen Benchmarks zeigen die Experimente, dass die Kombination aus gezieltem Caching und verlustbehafteter Kompression die Trainingszeit deutlich verkürzt, ohne die Modellleistung zu beeinträchtigen.

Damit liefert das Paper einen umfassenden Leitfaden für die effiziente Umsetzung von Layer‑Freezing in der Praxis und eröffnet neue Möglichkeiten, große Deep‑Learning‑Modelle ressourcenschonender zu trainieren.