PIECE: Parameterbasierte Lernmethode verhindert Vergessen bei Foundation-Modellen

Die neu vorgestellte Methode PIECE (Parameter Importance Estimation-based Continual Enhancement) löst ein zentrales Problem bei der Anpassung großer Sprach- und multimodaler Modelle an spezifische Domänen. Durch gezielte Aktualisierung von nur 0,1 % der wichtigsten Kernparameter bleibt die generelle Leistungsfähigkeit erhalten, während gleichzeitig neues Fachwissen effizient integriert wird.

PIECE nutzt zwei unterschiedliche Wichtigkeits­schätzer: PIECE‑F basiert auf Fisher‑Information, während PIECE‑S eine zweite‑Ordnung‑Normalisierung kombiniert, die sowohl Gradienten als auch Krümmungsinformationen berücksichtigt. Diese Schätzer bestimmen, welche Parameter für die neuen Aufgaben am relevantesten sind, sodass das Modell ohne Zugriff auf alte Trainingsdaten oder zusätzliche Parametererweiterungen weiterlernen kann.

In umfangreichen Experimenten mit drei Sprachmodellen und zwei multimodalen Modellen zeigte PIECE, dass die allgemeine Fähigkeit des Modells erhalten bleibt und gleichzeitig die Leistung bei einer Vielzahl von Down‑stream‑Aufgaben die bisher beste kontinuierliche Lernleistung erreicht. Die Ergebnisse deuten darauf hin, dass PIECE einen praktikablen Weg für skalierbare, domänenadaptive Foundation‑Modelle bietet, ohne das Risiko des katastrophalen Vergessens.