Hierarchische Kontaminationsprüfung: Sicherer Einsatz synthetischer Trainingsdaten
In der heutigen KI‑Entwicklung sind synthetische Daten unverzichtbar, um Basismodelle zu trainieren. Gleichzeitig gefährdet die Kontamination dieser Daten die Integrität von Benchmarks, denn Modelle können unbemerkt Benchmarkwissen übernehmen.
Aktuelle Erkennungsmethoden konzentrieren sich meist auf token‑basierte Überschneidungen. Sie bleiben jedoch blind gegenüber semantischer Kontamination, bei der synthetische Inhalte inhaltlich den Benchmarks ähneln, ohne dabei Wörter zu teilen.
Um dieses Problem zu lösen, wurde ein hierarchisches Kontaminations‑Framework entwickelt, das vier Ebenen abdeckt: Token‑Level, semantisches Level, Muster der Argumentation und Leistungsschwellen. In kontrollierten Tests auf MMLU, GSM8K und HumanEval zeigte sich, dass semantische Kontamination von bestehenden Verfahren mit F1‑Werten zwischen 0,17 und 0,49 unentdeckt bleibt, während das neue Verfahren einen F1‑Score von 0,76 erreicht – eine durchschnittliche Verbesserung von 26,5 % gegenüber dem Stand der Technik.
Dieses Tool bietet Praktikern eine konkrete Lösung für Audits von Trainingspipelines und unterstützt die verantwortungsvolle Nutzung synthetischer Daten in der KI‑Entwicklung.