LLM-gestützte Methode entdeckt versteckte Biases in Reward-Modellen

In der Post-Training-Phase von großen Sprachmodellen (LLMs) spielen Reward‑Modelle (RMs) eine zentrale Rolle. Frühere Untersuchungen haben gezeigt, dass diese Modelle oft unerwünschte Merkmale belohnen – etwa die Länge, das Format, Halluzinationen oder sycophantische Antworten. Um dieses Problem systematisch anzugehen, stellen Forscher ein neues Forschungsfeld vor: die automatische Erkennung von Biases in Reward‑Modellen.

Der Ansatz nutzt ein LLM, um iterativ potenzielle Biases zu generieren und zu verfeinern. Durch diese iterative Schleife kann das System bekannte Verzerrungen wiederfinden und gleichzeitig bislang unbekannte Biases aufdecken. Ein Beispiel aus der Praxis: Das Open‑Weight‑Reward‑Modell Skywork‑V2‑8B wurde damit identifiziert, dass es fälschlicherweise Antworten mit überflüssigem Leerraum und halluzinierten Inhalten bevorzugt.

Ein weiterer Befund zeigt, dass evolutionäre Iteration die Leistung deutlich steigert, wenn man sie mit einer flachen Best‑of‑N‑Suche vergleicht. Die Wirksamkeit der Pipeline wurde zudem durch das gezielte Einbringen synthetischer Biases bestätigt, wodurch die Rückrufrate (Recall) verifiziert werden konnte.

Diese Arbeit liefert damit einen wichtigen Beitrag zur automatisierten Interpretierbarkeit von Reward‑Modellen und eröffnet neue Wege, um deren Fairness und Zuverlässigkeit gezielt zu verbessern.