SPRInG: Kontinuierliche LLM-Personalisierung mit selektiver Anpassung & Retrieval

Die neue Methode SPRInG (Selective Parametric Adaptation and Retrieval-Interpolated Generation) löst ein langjähriges Problem der Personalisierung großer Sprachmodelle: die kontinuierliche Veränderung von Nutzerpräferenzen. Traditionelle Ansätze setzen auf statische Retrieval-Mechanismen oder einmalige Anpassungen, die davon ausgehen, dass sich die Interessen eines Nutzers nicht ändern. SPRInG erkennt dagegen, dass echte Interaktionen dynamisch sind und entwickelt ein Verfahren, das sich gezielt an echte Präferenzverschiebungen anpasst, ohne dabei das Gelernte zu vergessen.

Während des Trainings nutzt SPRInG eine drift‑getriebene, selektive Anpassung. Ein likelihood‑basierter Scorer identifiziert Interaktionen mit hoher Neuheit, sodass nur diese Datenpunkte zur Aktualisierung des nutzerspezifischen Adapters herangezogen werden. Gleichzeitig werden schwer zu erlernende Residuen in einem Replay‑Buffer gespeichert, um das Modell vor Catastrophic Forgetting zu schützen. Auf diese Weise bleibt die Personalisierung robust, auch wenn die Interaktionsdaten verrauscht sind.

Im Inferenzmodus greift SPRInG auf ein strenges Relevanz‑Gate zurück und kombiniert parametisches Wissen mit aus dem Retrieval gewonnenen Kontextinformationen durch Logit‑Interpolation. Dieser Ansatz sorgt dafür, dass die generierten Texte sowohl die aktuellen Präferenzen des Nutzers widerspiegeln als auch auf verlässlichen historischen Daten basieren. Experimente auf dem Long‑Form Personalized Generation Benchmark zeigen, dass SPRInG bestehende Baselines deutlich übertrifft und damit einen wichtigen Schritt für die Praxis der kontinuierlichen Personalisierung darstellt.