Trajektorienreduktion steigert Leistung von Diffusions-LLMs

Die neu entwickelte Methode dTRPO (Trajectory Reduction Policy Optimization) setzt neue Maßstäbe für die Optimierung von Diffusions‑Large‑Language‑Models (dLLMs). Durch die gezielte Reduktion der Kosten für Trajektorienwahrscheinlichkeiten ermöglicht dTRPO ein skalierbares Offline‑Policy‑Training, das bisherige Grenzen bei der Anpassung von dLLMs an menschliche Präferenzen sprengt.

Die theoretische Basis von dTRPO beruht auf zwei entscheidenden Erkenntnissen: Erstens liefert die Regularisierung der Referenzpolicy ein unverzerrtes Schätzergebnis für das Verhältnis der Wahrscheinlichkeiten neuer, unmaskierter Tokens gegenüber den Zwischenzuständen der Diffusion. Zweitens lässt sich die Wahrscheinlichkeit einer gesamten Trajektorie mit nur einem Forward‑Pass eines neu maskierten Endzustands zuverlässig approximieren. Diese beiden Strategien werden nahtlos in das Optimierungsziel integriert.

In umfangreichen Tests mit 7‑Billionen‑Parameter‑Modellen zeigte dTRPO beeindruckende Verbesserungen: Auf STEM‑Aufgaben stieg die Leistung um bis zu 9,6 %, bei Coding‑Aufgaben um 4,3 % und bei Instruktions‑Follow‑Up‑Tests um 3,0 %. Diese Fortschritte übertreffen die bisherigen Spitzenwerte von dLLMs und demonstrieren die Wirksamkeit der Trajektorienreduktion.

Ein weiterer Vorteil von dTRPO ist die hohe Trainings‑ und Generierungs­effizienz. Durch die Offline‑Natur und die Möglichkeit, die gesamte Trajektorie in einem einzigen Forward‑Pass zu bewerten, reduziert sich der Rechenaufwand erheblich. Gleichzeitig liefert die Methode qualitativ hochwertige Ausgaben, was die praktische Anwendbarkeit in realen Szenarien stärkt. Die Ergebnisse legen nahe, dass dTRPO ein vielversprechender Ansatz für die nächste Generation von leistungsfähigen, effizienten Diffusions‑LLMs darstellt.