RILKE: LLMs können Wissen dauerhaft und präzise aktualisieren

Moderne Sprachmodelle liefern häufig veraltete oder falsche Informationen. Die Herausforderung, ihr Wissen effizient und exakt zu aktualisieren, ohne das Modell neu zu trainieren, ist besonders bei komplexem, unstrukturiertem Wissen in einem lebenslangen Kontext groß.

Mit RILKE (Representation Intervention for Lifelong KnowledgE Control) wird dieses Problem angegangen. Die Methode betrachtet die Kontrolle von Wissen als gezielte Interventionen im Repräsentationsraum des Modells. Durch die hohe Ausdruckskraft dieses Raums können gezielte, feinkörnige Änderungen vorgenommen werden, ohne die generelle Leistungsfähigkeit zu beeinträchtigen.

Während des Trainings lernt RILKE paraphrasierungsresistente und edit-spezifische Module, die jede Aktualisierung auf einen kleinen, niedrigdimensionalen Unterraum beschränken. So wird die Interferenz zwischen verschiedenen Änderungen minimiert. Im Inferenzmodus wählt ein an die Anfrage angepasster Router das passende Modul aus, um die Ausgabe zu steuern.

Tests mit den Modellen LLaMA und Qwen zeigen, dass RILKE auf großen Datensätzen skalierbar ist, hohe Erfolgsraten bei Editierungen erzielt, sich gut auf Paraphrasen überträgt und die allgemeine Nützlichkeit des Modells mit nur geringem Speicheraufwand erhält. Diese Ergebnisse demonstrieren, dass RILKE eine effektive und skalierbare Lösung für die lebenslange Wissenskontrolle in großen Sprachmodellen darstellt.