Neurale Netzwerke vergessen: Studie verbindet Kollaps mit Ausfallleistung

In einer neuen Untersuchung auf arXiv wird das Phänomen des „catastrophischen Vergessens“ in kontinuierlichen Lernsystemen genauer beleuchtet. Die Forscher zeigen, dass nicht nur die Genauigkeit der Aufgaben, sondern auch die interne Struktur der Modelle entscheidend ist: Wenn das Netzwerk strukturell kollabiert, verliert es an Plastizität und kann keine neuen Merkmale mehr aufnehmen.

Der Schlüssel zur Analyse ist der sogenannte effektive Rang (eRank), ein Maß dafür, wie viel Informationsraum ein Netzwerk noch nutzt. Durch Messungen von Gewicht und Aktivierung konnten die Autoren einen engen Zusammenhang zwischen dem eRank-Abfall und dem Ausfall von Lernleistungen feststellen. Je stärker der Kollaps, desto mehr muss das Netzwerk bestehende Repräsentationen überschreiben.

Vier unterschiedliche Architekturen – MLP, ConvGRU, ResNet‑18 und Bi‑ConvGRU – wurden auf den Split‑MNIST‑ und Split‑CIFAR‑100‑Benchmarks getestet. Dabei wurden drei Lernstrategien eingesetzt: klassisches SGD, Learning‑with‑Out‑Forgetting (LwF) und Experience Replay (ER). Die Ergebnisse zeigen, dass alle drei Ansätze den Kollaps verlangsamen, jedoch in unterschiedlicher Weise sowohl die Kapazität als auch die Leistung erhalten.

Die Studie liefert damit wichtige Hinweise für die Entwicklung robusterer kontinuierlicher Lernsysteme: Ein gezielter Schutz des eRanks könnte das Vergessen signifikant reduzieren und die langfristige Leistungsfähigkeit von neuronalen Netzwerken sichern.