Ultra-Lange Sequenz-Editierung: Neue Methode verhindert Modellkollaps

In der Forschung zu großen Sprachmodellen (LLMs) hat sich das „Model Editing“ als effektive Technik etabliert, um Faktenfehler und veraltetes Wissen zu korrigieren. Dabei dominiert das Locate‑and‑Edit (L&E)-Paradigma, das gezielt die MLP‑Parameter identifiziert, die ein bestimmtes Faktum ausdrücken, und diese anschließend lokal aktualisiert.

Bei längeren Editierserien tritt jedoch ein plötzliches Modellkollaps auf, sobald ein kritischer Schwellenwert überschritten wird. Die Studie zeigt, dass dieser Zusammenbruch stark mit einem explosiven Wachstum der Normen der bearbeiteten MLP‑Gewichte zusammenhängt. Durch eine formale Analyse wird bewiesen, dass gängige L&E‑Update‑Regeln ohne explizite Normkontrolle exponentielles Normwachstum erzeugen können.

Um dieses Problem zu lösen, wurde die Norm‑Anchor‑Scaling‑Methode (NAS) entwickelt – ein plug‑and‑play, normbeschränktes Verfahren. In umfangreichen Experimenten konnte NAS den Kollapspunkt von Standard‑L&E‑Algorithmen um mehr als das Vierfache verschieben und gleichzeitig die Editierleistung um durchschnittlich 72,2 % steigern. Dabei ist die Implementierung lediglich eine zusätzliche Codezeile und verursacht kaum zusätzlichen Rechenaufwand.