Neue Studie zeigt: Synthese schützt Benchmarks vor Datenkontamination

Eine neue Untersuchung, veröffentlicht auf arXiv (2509.00072v1), beleuchtet die wachsende Sorge um Datenkontamination bei der Bewertung großer Sprachmodelle (LLMs). Die Autoren stellen fest, dass herkömmliche Benchmarks oft nicht mehr die eigentliche Rechenleistung, sondern lediglich das Auswendiglernen von Informationen messen.

Zur Lösung des Problems entwickelte das Team ein skalierbares Synthese-Framework, das Forschungsfragen direkt aus über 20.000 arXiv‑Papers generiert. Durch die Nutzung der natürlichen zeitlichen Struktur der Veröffentlichungen konnten die Forscher die Leistung von vier führenden Modellen – jeweils mit zwei unterschiedlichen Wissensgrenzen – auf 1.643 mehrstufigen Fragen analysieren. Die Daten erstrecken sich über 26 Monate, wobei mindestens sechs Monate vor und nach allen Cutoff‑Daten berücksichtigt wurden.

Die Ergebnisse zeigen, dass die Modelle keine signifikante Leistungsabnahme in der Nähe der Wissensgrenzen aufweisen. Im Gegensatz zu früheren Langzeitstudien, die einen deutlichen Leistungsrückgang nach dem Cutoff dokumentierten, deutet die mehrstufige Synthese darauf hin, dass die Fragen komplexer sind und tieferes Verständnis erfordern. Dies reduziert die Gefahr, dass Modelle lediglich auswendig gelerntes Wissen abrufen.

Die Autoren stellen ihren Code und die Datensätze vollständig zur Verfügung, um die Reproduzierbarkeit zu gewährleisten. Sie fordern einen Paradigmenwechsel hin zu benchmarks, die auf reasoning‑driven Synthese basieren, anstatt lediglich neue Daten zu sammeln. Diese Herangehensweise soll die Integrität von LLM‑Bewertungen nachhaltig stärken.