Sparse Memory Finetuning: LLMs lernen kontinuierlich ohne Vergessensrisiko

Neues Forschungspapier aus dem arXiv-Repository zeigt, wie große Sprachmodelle (LLMs) nach dem Training weiter an neue Informationen angepasst werden können, ohne dabei bereits erlernte Fähigkeiten zu verlieren. Der Ansatz, der als Sparse Memory Finetuning (SMF) bezeichnet wird, lokalisiert die Aktualisierungen auf ein kleines Set von Parametern in expliziten Speicher‑Schichten und verhindert damit das klassische Problem des katastrophalen Vergessens.

Die Autoren haben einen Open‑Source‑Pipeline entwickelt, mit dem bestehende Modelle – hier das Qwen‑2.5‑0.5B – mit sparsamen Speicher‑Modulen ausgestattet werden können. Dadurch lassen sich die Modelle auf handelsüblichen Computern weiter trainieren und neue Fakten aufnehmen, ohne dass die Leistung auf bereits vorhandenen Aufgaben abnimmt.

Ein zentrales Innovationselement ist ein theoretisch fundierter Slot‑Auswahlmechanismus, der auf der Kullback‑Leibler‑Divergenz basiert. Dieser Mechanismus priorisiert Speicher‑Updates für Tokens, die im Vergleich zu einer Hintergrundverteilung besonders „überraschend“ sind, und sorgt so für effiziente und gezielte Lernschritte.

Experimentelle Ergebnisse belegen, dass die modifizierten Modelle neue Wissensinhalte aufnehmen können, während die Leistung auf zuvor getesteten Aufgaben nahezu unverändert bleibt. Damit wird die Hypothese der sparsamen Aktualisierung in einer praxisnahen Umgebung bestätigt und ein vielversprechender Weg für kontinuierliches Lernen von LLMs eröffnet.