Duel‑Evolve: Optimierung von LLM‑Ausgaben ohne externe Belohnungen

Ein neues Verfahren namens Duel‑Evolve nutzt die eigenen Präferenzen eines großen Sprachmodells, um seine Ausgaben zu optimieren, ohne auf externe Belohnungsfunktionen angewiesen zu sein. Durch wiederholtes Vorschlagen, Bewerten und Verfeinern von Kandidaten in einem diskreten Ausgaberaum liefert das System eine effiziente Test‑Zeit‑Optimierung.

Traditionelle Methoden setzen auf kalibrierte Skalar‑Bewertungen, die für viele Aufgaben schwer zu erhalten, zu spärlich oder unzuverlässig sind. Im Gegensatz dazu sind paarweise Vergleiche oft leichter zu ermitteln und liefern dennoch wertvolle Hinweise auf Verbesserungsrichtungen. Duel‑Evolve greift auf diese Eigenschaft zurück und erfasst die Vorlieben des Modells selbst, ohne externe Aufsicht.

Das Verfahren kombiniert evolutionäre Optimierung mit einem Bayesian‑Bradley‑Terry‑Modell, das die verrauschten Kandidatenvergleiche in unsicherheitsbewusste Qualitätsabschätzungen umwandelt. Diese Schätzungen steuern die Zuweisung des Vergleichsbudgets mittels Double Thompson Sampling und wählen gleichzeitig hochwertige Eltern aus, um verbesserte Nachkommen zu erzeugen.

In praktischen Tests übertrifft Duel‑Evolve bestehende Ansätze deutlich. Auf dem Benchmark MathBench erzielt es eine Genauigkeitssteigerung von 20 Prozentpunkten, während es auf LiveCodeBench die Leistung um mehr als 12 Prozentpunkte verbessert. Dabei benötigt das Verfahren weder ein Belohnungsmodell, noch Ground‑Truth‑Labels während der Suche, noch eine handgefertigte Scoring‑Funktion.

Die Ergebnisse zeigen, dass selbst ermittelte, paarweise Präferenzen des Modells ein starkes Signal für die Optimierung von Ausgaben liefern und damit neue Möglichkeiten für die effiziente Test‑Zeit‑Verbesserung großer Sprachmodelle eröffnen.