AdvJudge‑Zero: Kontroll‑Token kippen LLM‑Judges

In modernen Post‑Training‑Pipelines wie RLHF, DPO und RLAIF spielen Reward‑Modelle und LLM‑as‑a‑Judge‑Systeme eine zentrale Rolle. Sie liefern skalare Rückmeldungen und binäre Entscheidungen, die die Auswahl von Modellen und das Reinforcement‑Learning‑Fine‑Tuning steuern.

Forscher haben eine wiederkehrende Schwachstelle entdeckt: kurze, leicht verständliche Kontroll‑Token‑Sequenzen können viele binäre Bewertungen von korrekten „Nein“-Entscheidungen zu falschen „Ja“-Entscheidungen kippen, indem sie die Logit‑Differenz der letzten Schicht gezielt beeinflussen. Diese Tokens sind realistisch, weil ein Policy‑Modell sie während des Post‑Trainings plausibel erzeugen könnte, und stellen damit ein echtes Risiko für Reward‑Hacking dar.

Mit dem Ansatz AdvJudge‑Zero werden ausgehend von der nächsten Token‑Verteilung und einer Beam‑Search diverse Kontroll‑Token‑Sequenzen aus dem Nichts entdeckt. Die Analyse zeigt, dass die dadurch ausgelösten Zustandsveränderungen in einem niedrigrangigen „Soft‑Mode“ konzentriert sind, der gegen die Ablehnungsrichtung des Judges gerichtet ist.

Experimentell führen diese Tokens zu sehr hohen Fehlpositiv‑Raten bei großen Open‑Weight‑Modellen und spezialisierten Judge‑Modellen, die auf Mathematik‑ und Logik‑Benchmarks bewerten. Durch LoRA‑basierte adversarielle Trainingsschritte auf kleinen Mengen von Kontroll‑Token‑augmentierten Beispielen lassen sich die Fehlpositiv‑Raten deutlich senken, ohne die Bewertungsgüte zu beeinträchtigen.