I-PPO: Einflussbasierte Filterung verbessert PPO-Training von LLMs

In der Welt des Reinforcement Learning gilt Proximal Policy Optimization (PPO) als Standardverfahren, doch die Annahme, dass jedes erzeugte Rollout‑Episode einen wertvollen Optimierungsimpuls liefert, stößt immer wieder an Grenzen. Viele Episoden enthalten verrauschte oder unzuverlässige Argumentationsketten, die die Modellleistung mindern und das Training verlangsamen.

Um diesem Problem entgegenzuwirken, stellt das neue Verfahren Influence‑Guided PPO (I‑PPO) vor, das Datenattribution direkt in den Post‑Training‑Loop integriert. Durch eine gradientsbasierte Approximation wird für jede Episode ein Einflusswert berechnet, der aufzeigt, ob die Episode mit dem Validierungsgradienten übereinstimmt. Episoden, die gegen den gewünschten Lernpfad wirken, werden gezielt entfernt.

Experimentelle Ergebnisse zeigen, dass I‑PPO sowohl die SFT‑ als auch die herkömmliche PPO‑Basis übertrifft. Der Filtermechanismus wirkt dabei wie ein eingebautes Early‑Stopping‑Signal, beschleunigt die Trainingszeit und reduziert gleichzeitig die Anzahl der unzuverlässigen Chain‑of‑Thought‑Begründungen erheblich.