LLMs zeigen hohe Kontamination: Studie deckt Wissensleckage auf

Eine neue Untersuchung aus dem arXiv-Repository (2603.16197v1) hat aufgedeckt, dass große Sprachmodelle (LLMs) bei vielen gängigen Prüfungen nicht nur menschliche Experten übertreffen, sondern dabei auch stark von bereits im Trainingsdatensatz vorhandenen Informationen profitieren.

Die Autoren betonen, dass die meisten öffentlichen Leaderboards – die von Universitäten, Juristen und Programmierern genutzt werden – auf Fragen basieren, die im Internet weit verbreitet sind. Dadurch besteht die Gefahr, dass die Modelle die gleichen Daten bereits während des Trainings gesehen haben, was die Ergebnisse verfälscht.

Im ersten Teil der Studie wurde ein lexikalisches Kontaminations‑Detection‑Pipeline auf 513 Fragen des MMLU‑Tests angewendet. Dabei wurde ein Gesamtkontaminationsgrad von 13,8 % festgestellt, wobei die Zahlen in den STEM‑Fächern bei 18,1 % und in der Philosophie sogar bis zu 66,7 % lagen. Die Analyse schätzt, dass diese Kontamination die Genauigkeit der Modelle um 0,030 bis 0,054 Punkte pro Kategorie erhöht hat.

Experiment 2 nutzte Paraphrasen und indirekte Referenzen, um 100 MMLU‑Fragen zu testen. Die Ergebnisse zeigten, dass die Genauigkeit im Durchschnitt um 7,0 Prozentpunkte sank, wenn die Fragen indirekt formuliert wurden. In den Bereichen Recht und Ethik stieg der Rückgang auf 19,8 Prozentpunkte.

Im dritten Experiment wurden TS‑Guessing‑Verhaltensprobes auf alle 513 Fragen und alle sechs Modelle – GPT‑4o, GPT‑4o‑mini, DeepSeek‑R1, DeepSeek‑V3, Llama‑3.3‑70B und Qwen3‑235B – angewendet. Dabei reagierten 72,5 % der Modelle mit Memorierungssignalen, die weit über dem Zufallsniveau lagen. Besonders auffällig war DeepSeek‑R1, das eine verteilte Memorierung aufwies: 76,6 % teilweiser Rekonstruktion, aber 0 % wortwörtliche Wiedergabe, was seine ungewöhnliche Leistung im zweiten Experiment erklärt.

Alle drei Experimente führten zu einer einheitlichen Kontaminations‑Ranking‑Reihenfolge: STEM > Professionelle Fächer > Sozialwissenschaften > Geisteswissenschaften. Diese Erkenntnisse unterstreichen, dass die aktuelle Bewertung von LLMs stark von Datenleckagen beeinflusst sein kann.

Die Studie mahnt daher, dass zukünftige Benchmarks sorgfältiger gestaltet werden müssen, um echte Leistungsunterschiede zwischen menschlichen Experten und KI-Modellen zu messen. Nur so lässt sich die tatsächliche Intelligenz von Sprachmodellen zuverlässig beurteilen.