Gewichtsfelder ohne Interferenz: Verluste bei LLM‑Erweiterungen vermeiden

In einer neuen Studie von ArXiv (2602.18628v1) wird ein innovatives Konzept vorgestellt, das die klassische Idee fester Gewichtvektoren in großen Sprachmodellen hinterfragt. Statt die gelernten Parameter als unveränderliche Artefakte zu behandeln, schlägt das Verfahren „Non‑Interfering Weight Fields“ (NIWF) vor, die Gewichte als dynamische Funktion zu modellieren, die auf einem kontinuierlichen Koordinatensystem von Fähigkeiten basiert.

Nach dem Training an einer Aufgabe werden die relevanten Koordinatenbereiche durch das Speichern der Funktionsausgaben an Ankerpunkten gesichert. Diese „funktionale Sperre“ verhindert, dass spätere Lernschritte die bereits erlernten Fähigkeiten verändern. Auf diese Weise kann das Modell neue Aufgaben erlernen, ohne zuvor erworbenes Wissen zu verlieren – ein Problem, das als katastrophales Vergessen bekannt ist.

Die Autoren haben NIWF mit dem Mistral‑7B‑Modell auf sequenziellen Instruktions‑ und Code‑Generierungsaufgaben getestet. Die Ergebnisse zeigen, dass das Modell bei den bereits festgelegten Aufgaben keinerlei Leistungseinbußen erfährt, während die Fehlerwahrscheinlichkeit (Perplexität) bei neuen Aufgaben konkurrenzfähig bleibt. Das Verfahren eröffnet damit eine software‑ähnliche Versionierung für neuronale Netzwerke, bei der Fähigkeiten commit‑t, erweitert, kombiniert oder zurückgerollt werden können, ohne das Modell neu zu trainieren.