Kontamination in Sprachmodellen: Wie Post‑Training die Leistung beeinflusst

In einer neuen Studie von arXiv 2601.06103v1 wird untersucht, wie sich Datenkontamination auf die gängigen Post‑Training‑Schritte großer Sprachmodelle auswirkt. Dabei wurden die Modelle Qwen2.5 (0,5 B/1,5 B) und Gemma3 (1 B/4 B) zunächst sauber trainiert und anschließend fünf Kopien von GSM8K‑ und MBPP‑Testaufgaben in die ersten 2 B Token eines 25 B‑Token‑erweiterten Pre‑Training‑Datensatzes eingebracht.

Die Kontamination wurde sowohl unmittelbar nach dem Pre‑Training als auch nach zwei populären Post‑Training‑Methoden verglichen: Supervised Fine‑Tuning (SFT) und Reinforcement Learning (RL) mit Group Relative Policy Optimization (GRPO). Beide Post‑Training‑Schritte selbst enthielten keine Kontamination. Auf Mathematik‑ und Codierungsbenchmarks zeigten die Modelle drei konsistente Muster.

Erstens führt Kontamination zu kurzfristigen Leistungsanstiegen, die mit weiterem Pre‑Training allmählich zurückgehen – nach 25 B Token ist die Leistungsinflation nahezu verschwunden. Zweitens „resurrecten“ sowohl SFT als auch GRPO die ausgelöschten Informationen, jedoch mit unterschiedlicher Außenvalidität: SFT steigert die Scores nur bei den kontaminierten Aufgaben, während GRPO auch bei nicht kontaminierten Gegenstücken wie GSMPlus und HumanEval eine Leistungssteigerung auslöst. Drittens verstärkt die Modellgröße diese Effekte: Größere SFT‑Modelle merken mehr, während größere GRPO‑Modelle die Lecks in allgemeinere Fähigkeiten umwandeln.

Die Ergebnisse unterstreichen die Notwendigkeit von Kontaminationsprüfungen nach dem Post‑Training und deuten darauf hin, dass RL‑basierte Post‑Training‑Ansätze, obwohl nicht immun, dazu beitragen können, die durch Kontamination bedingten Leistungssteigerungen zu mildern.