DAJ: Neuer LLM‑Judge verbessert Codegenerierung bei Testzeit‑Skalierung

In der Codegenerierung wird die Qualität von Ergebnissen häufig durch Best‑of‑N‑Auswahl verbessert: Mehrere Kandidaten werden vom Basismodell erzeugt und der beste wird von einem LLM‑Judge ausgewählt. Doch die Ausbildung zuverlässiger LLM‑Judges ist schwierig, weil starke Verteilungssprünge auftreten – von Ungleichgewichten zwischen einfachen und schwierigen Aufgaben bis hin zu Missverhältnissen zwischen Trainingsaufgaben und Testbenchmarks.

Das neue Verfahren DAJ (Data‑Reweighted LLM Judge) löst diese Probleme, indem es einen zweistufigen Lernrahmen nutzt, der Datengewichte für einzelne Instanzen oder ganze Domänen optimiert. Durch die gezielte Gewichtung werden besonders anspruchsvolle Aufgaben, in‑Distribution‑Beispiele und Trajektorien, die mit dem Einsatzmodell übereinstimmen, automatisch betont – ganz ohne manuelle Heuristiken.

In Experimenten auf LiveCodeBench und BigCodeBench übertrifft DAJ die führenden Testzeit‑Skalierungsbaselines sowie proprietäre Modelle und erzielt damit erstmals einen neuen Stand der Technik für LLM‑basierte Urteilsmechanismen.