Neuer Ansatz trennt echtes Memorieren von Mustererkennung in Sprachmodellen

Die Gefahr, dass große Sprachmodelle (LLMs) Trainingsdaten ungewollt wiedergeben, wächst stetig. Dabei ist es entscheidend, zwischen echtem Auswendiglernen und der Erzeugung statistisch häufiger Muster zu unterscheiden. Traditionelle Messmethoden vermischen diese beiden Phänomene und markieren oft generierte Sätze fälschlicherweise als memoriert.

Ein bisheriger Ansatz, Counterfactual Memorization, löst das Problem prinzipiell, erfordert jedoch das erneute Trainieren mehrerer Basismodelle – ein Prozess, der bei großen Modellen kaum praktikabel ist.

Die neue Methode, Prior‑Aware Memorization, bietet eine theoretisch fundierte, leichte und trainingsfreie Alternative. Sie prüft, ob ein möglicher Suffix stark mit einem spezifischen Trainingspräfix verknüpft ist oder ob er mit hoher Wahrscheinlichkeit in vielen unzusammenhängenden Eingaben auftaucht, weil er ein häufiges Muster darstellt.

In Tests mit den vortrainierten Modellen LLaMA und OPT zeigte die Methode, dass zwischen 55 % und 90 % der zuvor als memoriert gekennzeichneten Sequenzen tatsächlich statistisch übliche Muster sind. Auch bei der SATML‑Extraktionsaufgabe, die sich mit urheberrechtlich geschützten Texten befasst, identifizierte das Verfahren rund 40 % solcher Muster.

Damit liefert Prior‑Aware Memorization ein praktisches Werkzeug, um echte Memorierung in LLMs zuverlässig zu erkennen und gleichzeitig die Risiken von Datenlecks zu reduzieren.