Gap‑K%: Neue Methode zur Erkennung von Pretraining‑Daten in LLMs

Die Transparenz großer Pretraining‑Korpora für Large Language Models (LLMs) wirft erhebliche Datenschutz‑ und Urheberrechtsfragen auf. Um diese Risiken zu mindern, ist die Erkennung von Trainingsdaten entscheidend. Bisherige Ansätze stützen sich vorwiegend auf Token‑Wahrscheinlichkeiten, vernachlässigen jedoch die Abweichung vom Top‑1‑Vorhersage‑Token und die lokale Korrelation benachbarter Tokens.

Gap‑K% nutzt die Optimierungsdynamik des LLM‑Pretrainings, indem es die Diskrepanz zwischen dem vom Modell vorhergesagten Top‑1‑Token und dem tatsächlichen Zieltoken auswertet. Diese Diskrepanz erzeugt starke Gradienten­signale, die während des Trainings explizit bestraft werden. Durch die Messung der Log‑Wahrscheinlichkeits­lücke zwischen Top‑1‑ und Zieltoken sowie die Anwendung einer gleitenden Fensterstrategie fängt Gap‑K% lokale Zusammenhänge ein und reduziert token‑weise Schwankungen.

Umfangreiche Tests auf den Benchmarks WikiMIA und MIMIR zeigen, dass Gap‑K% die aktuelle Spitzenleistung übertrifft. Die Methode liefert konsistente Verbesserungen gegenüber bisherigen Baselines, unabhängig von Modellgröße und Eingabelänge, und stellt damit einen wichtigen Fortschritt im Bereich der Pretraining‑Datenerkennung dar.