RLVR-Trainingsdaten erkennen: Strukturkonvergenz als Schlüssel

Reinforcement Learning with Verifiable Rewards (RLVR) ist ein zentrales Verfahren, um moderne Denkmodelle zu trainieren. Dabei werden Modelle nicht mehr anhand von Token‑Wahrscheinlichkeiten optimiert, sondern über Belohnungsfeedback aus selbst generierten Argumentationspfaden. Diese Vorgehensweise führt zu einer starken Vertraulichkeit der Trainingsdaten, was die Gefahr von Benchmark‑Kontamination erhöht.

Traditionelle Detektionsmethoden, die auf Likelihood‑Basierten Ansätzen beruhen, sind bei RLVR kaum wirksam, weil die Modelle nicht mehr auf token‑level Probabilitäten angewiesen sind. Stattdessen zeigen sich bei RLVR‑Trainingsbeispielen charakteristische Verhaltensmuster: Die generierten Antworten sind bei bekannten Eingaben deutlich homogener und weniger vielfältig als bei unbekannten Prompt‑Sets.

Um diese Konvergenz zu quantifizieren, wurde der Min‑kNN‑Distance‑Ansatz entwickelt. Dabei werden mehrere Ausgaben zu einem Prompt erzeugt und die durchschnittliche Distanz zu den k nächsten Nachbarn berechnet. Der Ansatz benötigt keinen Zugriff auf das Referenzmodell oder Token‑Wahrscheinlichkeiten und kann als Black‑Box‑Detektor eingesetzt werden.

Experimentelle Tests an verschiedenen RLVR‑trainierten Modellen zeigen, dass Min‑kNN‑Distance zuverlässig zwischen trainierten und untrainierten Beispielen unterscheiden kann. Im Vergleich zu bestehenden Membership‑Inference‑ und RL‑Kontamination‑Detektoren liefert die Methode deutlich höhere Genauigkeit und Robustheit.