Soft Contamination: Benchmark-Ergebnisse verfälscht

Eine neue Studie aus dem arXiv-Preprint arXiv:2602.12413v1 zeigt, dass große Sprachmodelle (LLMs) häufig mit Benchmark‑Testdaten in ihren Trainingskorpus gelangen. Diese „weiche Kontamination“ führt dazu, dass die erreichten Benchmark‑Scores nicht mehr die wahre Fähigkeit des Modells widerspiegeln, sondern auch von bereits bekannten Testfällen profitieren.

Traditionelle Entkcontaminierungs‑Filter setzen auf n‑gram‑Vergleiche, die semantisch identische Sätze – also Sätze mit nahezu gleichem Inhalt, die aber in der Zeichenkette unterschiedlich sind – nicht erkennen. Die Autoren untersuchten deshalb die Auswirkung von semantischen Duplikaten in Trainingsdaten.

Durch das Einbetten des Olmo3‑Korpus fanden die Forscher, dass 78 % der CodeForces‑Aufgaben und 50 % der ZebraLogic‑Aufgaben semantische Duplikate enthalten. Diese Duplikate verbessern nicht nur die Benchmark‑Leistung, sondern führen auch zu einer Steigerung der Performance bei wirklich neuen, aus dem Benchmark herausgehaltenen Daten.

Die Ergebnisse deuten darauf hin, dass die jüngsten Fortschritte bei LLM‑Benchmarks teilweise auf die wachsende Menge an Testdaten im Trainingsmaterial zurückzuführen sind. Damit sind die gemessenen Verbesserungen nicht ausschließlich auf echte Leistungssteigerungen, sondern auch auf die zunehmende „Testdaten‑Ansammlung“ zurückzuführen.