Selbstgespräche verhindern Vergessen bei großen Sprachmodellen

Ein neues Verfahren namens SA‑SFT zeigt, wie große Sprachmodelle (LLMs) ohne zusätzliche Daten oder komplexe Trainingsanpassungen vor dem Catastrophic Forgetting geschützt werden können. Dabei erzeugt das Modell vor dem Fein‑Tuning eigenständig Dialoge, die anschließend mit den eigentlichen Aufgaben­daten kombiniert werden.

Die Methode ist besonders leichtgewichtig und erfordert keine Änderungen am Optimierungs‑ oder Trainingsplan. In einer umfangreichen Studie mit 50 Evaluationsszenarien konnte SA‑SFT die Leistung des Ausgangsmodells nicht nur erhalten, sondern in 40 Fällen sogar verbessern – deutlich besser als gängige Ansätze wie Layer‑Freezing oder das Mischen externer Daten.

Eine theoretische Analyse legt nahe, dass das Vergessen teilweise durch stilbedingte Parameter‑Schwankungen entsteht. Durch die selbstgenerierten Daten wird eine „Selbst‑Alignment“ erreicht, die diese Drift reduziert und die Robustheit des Modells erhöht.

Insgesamt demonstriert SA‑SFT, dass Selbst‑Augmentation ein einfaches, aber wirkungsvolles Mittel ist, um LLMs zuverlässig an spezifische Aufgaben anzupassen, ohne dabei die generelle Leistungsfähigkeit zu verlieren.