Neue Methode ACES bewertet LLM-Codetests ohne Zirkularität

Die Auswahl von Codekandidaten, die von großen Sprachmodellen (LLMs) generiert werden, gestaltet sich schwierig, wenn die Tests, die zur Bewertung dienen, selbst fehlerhaft sein können. Traditionelle Ansätze behandeln alle Tests gleich oder setzen auf willkürliche Heuristiken, um unzuverlässige Tests zu filtern. Doch die Korrektheit eines Tests lässt sich erst bestimmen, wenn man bereits weiß, welcher Code korrekt ist – ein klassisches Zirkularitätsproblem.

Der Schlüssel zur Lösung liegt darin, Tests nicht nur zu zählen, sondern sie nach ihrer Fähigkeit zu gewichten, korrekten von inkorrektem Code zu unterscheiden. Dazu nutzt die neue Methode ACES ein Leave‑One‑Out‑Verfahren: Ein Test wird vorübergehend weggelassen, die verbleibenden Tests werden aggregiert, um die Codekandidaten zu ranken, und anschließend wird geprüft, ob das Pass/Fail-Muster des ausgelassenen Tests mit dieser Rangfolge übereinstimmt. Diese Übereinstimmung wird als Leave‑One‑Out‑AUC (LOO‑AUC) definiert, und die Autoren zeigen, dass der erwartete LOO‑AUC proportional zur Trennkraft eines Tests ist.

Auf dieser Grundlage wurden zwei Varianten von ACES entwickelt. ACES‑C liefert geschlossene Gewichtungen, die unter einer milden Annahme über die durchschnittliche Testqualität dem optimalen Ergebnis nahekommen. ACES‑O hingegen setzt keine solche Annahme voraus und optimiert iterativ eine differenzierbare LOO‑AUC‑Funktion. Beide Varianten arbeiten ausschließlich mit der binären Pass‑Matrix, verursachen kaum Overhead und erzielen in mehreren Code‑Generierungs‑Benchmarks neue Bestleistungen bei Pass@k.