ExPairT-LLM: Präzise Codeauswahl mit Paarabfragen – 27 % bessere Erfolgsrate

In einer neuen Veröffentlichung auf arXiv wird ExPairT-LLM vorgestellt, ein Algorithmus, der die Auswahl des richtigen Programms aus einer Menge von LLM‑generierten Code‑Versionen exakt bestimmt. Der Ansatz nutzt zwei neue Abfrageformen an ein LLM‑Oracle: die „pairwise membership“ und die „pairwise equivalence“.

Durch diese Paarabfragen kann ExPairT-LLM die korrekte Lösung in einem Turnierverfahren identifizieren, das auch bei gelegentlichen Fehlern des LLM robust bleibt. Im Vergleich zu bisherigen Code‑Auswahl‑Algorithmen erzielt das Verfahren eine durchschnittliche Verbesserung der Pass@1‑Rate um 13 % und erreicht Spitzenwerte von bis zu 27,1 %.

Besonders beeindruckend ist die Steigerung der Pass@1‑Rate um 24 % bei LLMs, die komplexe Rechenaufgaben lösen. Damit demonstriert ExPairT-LLM, dass gezielte Abfragen die Zuverlässigkeit von LLM‑Codegenerierung deutlich erhöhen können.