DRAFT‑RL: Mehrweg‑Entwurf‑Logik steigert LLMs mit Reinforcement Learning

Neues Forschungspapier aus dem arXiv‑Repository (Arbeitstitel: DRAFT‑RL) präsentiert einen innovativen Ansatz, der die Leistungsfähigkeit großer Sprachmodelle (LLMs) in komplexen Rechenaufgaben deutlich erhöht. Durch die Kombination von „Chain‑of‑Draft“ (CoD) – also mehreren Entwürfen pro Anfrage – mit einem Multi‑Agenten‑Reinforcement‑Learning‑Framework können LLM‑Agenten ihre Antworten systematisch prüfen, verbessern und optimieren.

Im Gegensatz zu bisherigen Methoden, die meist auf ein einziges Antwort‑Output setzen, erzeugt jeder Agent in DRAFT‑RL mehrere Entwürfe. Diese Entwürfe werden anschließend von Peer‑Agenten sowie einem lernenden Belohnungsmodell bewertet, um die vielversprechendste Lösung auszuwählen. Der gewählte Entwurf dient dann als Grundlage für die weitere Verfeinerung der Rechenstrategie durch ein Actor‑Critic‑Training.

Durch diese explizite Mehrpfad‑Erkundung, peer‑gesteuerte Reflexion und belohnungsorientierte Auswahl zeigt DRAFT‑RL eine signifikante Verbesserung gegenüber bestehenden reflektierenden und RL‑basierten Agenten. In Tests zu Code‑Synthese, symbolischer Mathematik und wissensintensiven Frage‑Antwort‑Aufgaben erzielt das System höhere Genauigkeit und schnellere Konvergenz.