Goldene Schichten: Schnelleres Wissenseditieren in LLMs via Gradient‑Analyse

Wissensänderungen in großen Sprachmodellen (LLMs) sollen gezielt die Vorhersage für einen bestimmten Suchbegriff anpassen, ohne das Verhalten bei allen anderen Anfragen zu verändern. Dieser Prozess besteht üblicherweise aus zwei Schritten: erst die passende Schicht im Modell zu bestimmen und anschließend die Parameter zu aktualisieren.

Ein Problem dabei ist, dass das Wissen je nach Anfrage in unterschiedlichen Tiefen des Modells lokalisiert sein kann. Das bedeutet, dass die gleiche Schicht für verschiedene Beispiele unterschiedlich gut funktioniert, was die Effizienz der Bearbeitung stark beeinträchtigt.

Die Autoren stellen die Idee vor, dass es feste „goldene“ Schichten gibt, die für die meisten Anfragen nahezu optimale Ergebnisse liefern. Durch umfangreiche Experimente konnten sie zeigen, dass diese Schichten tatsächlich die Leistung von individuell optimierten Schichten erreichen oder sogar übertreffen.

Ein weiterer Beitrag ist die Demonstration, dass goldene Schichten zuverlässig mit Hilfe eines kleinen Proxy-Datensatzes identifiziert werden können und ihre Wirksamkeit auch auf völlig neue Testanfragen und Datensätze übertragbar ist.

Um die Suche nach diesen Schichten zu beschleunigen, schlagen die Forscher die Methode „Layer Gradient Analysis“ (LGA) vor. LGA nutzt Gradienten‑Attributionen, um die goldenen Schichten effizient zu bestimmen, ohne umfangreiche Trial‑and‑Error‑Runs durchführen zu müssen.

In einer Reihe von Benchmark‑Tests zeigte LGA eine hohe Effektivität und Robustheit über verschiedene LLM‑Typen und Wissenseditier‑Methoden hinweg. Damit bietet die Arbeit einen praktischen Ansatz, um Wissensänderungen in Sprachmodellen schneller und zuverlässiger umzusetzen.