Kontaminationserkennung ohne Memorierung: Output-Verteilung bei kleinen Modellen

Eine neue Studie aus dem arXiv-Repository zeigt, dass die Methode der Kontaminationserkennung über die Ausgabeverteilung (CDD) bei kleinen Sprachmodellen nur dann zuverlässig funktioniert, wenn das Feintuning zu einer wörtlichen Memorierung führt. CDD misst die „Spitzigkeit“ der vom Modell erzeugten Ausgaben und erkennt damit, ob Trainingsdaten ungewollt übernommen wurden.

Die Forscher untersuchten Modelle mit 70 M bis 410 M Parametern und setzten gezielte Kontaminationen in den Datensätzen GSM8K, HumanEval und MATH ein. Bei Low‑Rank‑Adaptation, einer parameter‑effizienten Feintuning‑Technik, lernten die Modelle zwar aus den kontaminierten Daten, jedoch ohne sie zu memorieren. In diesem Fall blieb CDD bei Zufallsniveau, obwohl die Kontamination eindeutig vorhanden war.

Erst wenn das Feintuning genügend Kapazität besitzt, um die Daten wörtlich zu memorieren, kann CDD eine hohe Erkennungsgenauigkeit erreichen. Die Arbeit definiert damit einen Memorierungsschwellenwert, der die Erkennbarkeit von Kontaminationen bestimmt, und weist darauf hin, dass parameter‑effiziente Feintuning‑Methoden Kontaminationen erzeugen können, die aus der Ausgabeverteilung nicht erkennbar sind.

Der zugehörige Code ist frei verfügbar unter https://github.com/Sela-Omer/Contamination-Detection-Small-LM.