Fehlerzählen statt Rubriken: Neue Belohnung für virtuelle Anprobe

In der Welt des Reinforcement Learning haben sich Methoden wie RLVR und Rubrics as Rewards (RaR) als besonders wirkungsvoll erwiesen, wenn klare Korrektheitssignale vorhanden sind. Doch viele reale Aufgaben, etwa die virtuelle Anprobe von Kleidung, erlauben mehrere korrekte Ausgaben und besitzen keine eindeutige Referenzantwort – ein Problem, das bisher von post‑Training‑Ansätzen kaum adressiert wurde.

Um diese Lücke zu schließen, wurde die Methode Implicit Error Counting (IEC) entwickelt. Anstatt zu prüfen, was ein Modell richtig macht, zählt IEC systematisch die Fehler, gewichtet sie nach Schwere und wandelt die Ergebnisse in kalibrierte Belohnungen pro Aspekt um. Dadurch erhält das Lernsystem ein präziseres Signal, das besser mit der Vielfalt zulässiger Ausgaben übereinstimmt.

Die Autoren zeigen, dass eine naive, explizite Fehlerzählung zu verrauschten Belohnungen führt, die das Training destabilisieren. Stattdessen setzen sie auf zwei entscheidende Designentscheidungen: die implizite Emission von Scores und die Gruppenkalibrierung. Diese Kombination macht die Fehlerzählung zu einem zuverlässigen Belohnungsmechanismus.

Als konkretes Anwendungsbeispiel dient die virtuelle Anprobe (VTO). Hier sind subtile Fehler in der Kleidung nicht akzeptabel, gleichzeitig gibt es viele korrekte Varianten. IEC liefert für VTO ein robustes Belohnungssignal, das die Komplexität dieser Aufgabe adäquat erfasst.

Zur Bewertung wurde die neue Metrik Cascaded Error Counting (CEC) eingeführt, die menschliche Präferenzen gut widerspiegelt – 60 % der Top‑1‑Wertungen stimmen mit den menschlichen Vorlieben überein, während andere Methoden nur 30 % erreichen. Zusätzlich wurde das Benchmark-Mismatch‑DressCode (MDressBench) erstellt, das maximale Attributabweichungen enthält, um Belohnungsdesigns rigoros zu testen.

In allen gemessenen Metriken übertrifft IEC die bisherigen RaR‑Methoden deutlich. Auf MDressBench erzielt IEC CEC‑Werte von 5,31 gegenüber 5,60 bei flachen Referenzen und 5,20 gegenüber 5,53 bei anderen Konfigurationen. Diese Ergebnisse unterstreichen die Wirksamkeit von Fehlerzählung als Belohnungsmechanismus in Referenz‑freien Szenarien.