Neues Verfahren InTAct reduziert Wissensverlust bei kontinuierlichem Lernen

In der Forschung zum kontinuierlichen Lernen wurde ein neues Verfahren namens InTAct vorgestellt, das das Problem des sogenannten Representation Drift adressiert. Beim kontinuierlichen Lernen soll ein neuronales Netzwerk neue Aufgaben erlernen, ohne bereits erworbenes Wissen zu verlieren. Besonders bei Domain‑Shifts, bei denen sich die Eingabedaten verändern, bleibt die Leistung der meisten Prompt‑basierten Methoden jedoch stark beeinträchtigt.

InTAct arbeitet, ohne Parameter zu fixieren oder alte Daten zu speichern. Stattdessen erfasst es die charakteristischen Aktivierungsbereiche, die bei bereits gelernten Aufgaben auftreten, und begrenzt die Aktualisierungen des Netzwerks, sodass die Funktionsweise dieser wichtigen Neuronen erhalten bleibt. Dadurch wird die Stabilität der gemeinsamen Schichten gewahrt, während gleichzeitig Flexibilität für neue Aufgaben erhalten bleibt.

Das Verfahren ist architekturunabhängig und lässt sich nahtlos in bestehende Prompt‑basierte Lernframeworks integrieren. In umfangreichen Domain‑Incremental Benchmarks wie DomainNet und ImageNet‑R zeigte InTAct eine signifikante Reduktion des Representation Drift und steigerte die durchschnittliche Genauigkeit um bis zu acht Prozentpunkte gegenüber dem aktuellen Stand der Technik.