Task-Aware Multi-Expert: Neue Architektur für lebenslanges Deep Learning

Ein neuer Ansatz aus dem Bereich des lebenslangen Deep Learning (LDL) verspricht, neuronale Netzwerke in der Lage zu machen, Aufgaben nacheinander zu erlernen, ohne dabei frühere Kenntnisse zu verlieren. Der Algorithmus Task‑Aware Multi‑Expert (TAME) nutzt die Ähnlichkeit von Aufgaben, um gezielt Experten auszuwählen und Wissen zu übertragen.

TAME verwaltet einen Pool vortrainierter Netzwerke und aktiviert für jede neue Aufgabe den am besten geeigneten Experten. Ein gemeinsames denses Layer integriert die Features des gewählten Experten, um Vorhersagen zu erzeugen. Damit das Modell nicht an frühere Aufgaben „vergisst“, speichert TAME repräsentative Stichproben und deren Einbettungen in einem Replay‑Buffer und nutzt diese während des Trainings erneut.

Ein zusätzliches Aufmerksamkeitsmechanismus priorisiert die für jede Vorhersage relevantesten gespeicherten Informationen. Durch die Kombination dieser Elemente kann TAME flexibel auf neue Aufgaben reagieren und gleichzeitig wichtige Kenntnisse aus vergangenen Aufgaben bewahren.

Experimentelle Tests auf binären Klassifikationsaufgaben, die aus CIFAR‑100 abgeleitet wurden, zeigen, dass TAME die Genauigkeit bei neuen Aufgaben steigert und gleichzeitig die Leistung auf bereits gelernte Aufgaben stabil hält. Die Ergebnisse unterstreichen die Wirksamkeit von TAME, die Balance zwischen Anpassungsfähigkeit und Beibehaltung von Wissen in lebenslangen Lernumgebungen zu halten.