RLoop: Selbstverbesserndes RL-Framework steigert Generalisierung um 15 %
Ein neues Framework namens RLoop verspricht, die Grenzen des Reinforcement Learning (RL) zu sprengen. Durch einen cleveren Kreislauf aus Exploration und gezielter Feinabstimmung schafft RLoop eine nachhaltige Verbesserung der Modellleistung.
Traditionelles RL, insbesondere das Modell „Reinforcement Learning for Verifiable Rewards“ (RLVR), hat sich als leistungsstark erwiesen, doch die Trainingsdynamik birgt ein gravierendes Problem: Überanpassung. Modelle erreichen hohe Trainingsrewards, verlieren aber an Generalisierungsfähigkeit. Die Ursache liegt in der Überspezialisierung der Policy und dem katastrophalen Vergessen vielfältiger Lösungen, die während des Trainings entstehen.
RLoop begegnet diesem Problem mit einem iterativen Ansatz zur Policy‑Initialisierung. Zunächst nutzt das System RL, um den Lösungsraum abzusuchen. Erfolgreiche Trajektorien werden anschließend gefiltert und bilden ein Expertendataset. Dieses Dataset wird dann mittels Rejection‑Sampling Fine‑Tuning (RFT) verwendet, um die Ausgangs‑Policy zu verfeinern. Das Ergebnis ist ein besserer Startpunkt für die nächste Iteration.
Durch diesen Kreislauf verwandelt RLoop vorübergehende Policy‑Variationen in robuste Leistungssteigerungen. Die Experimente zeigen, dass das Framework das Vergessen reduziert und die Generalisierung deutlich verbessert – die durchschnittliche Genauigkeit steigt um 9 % und die Pass‑Rate bei 32‑Punkten um mehr als 15 % im Vergleich zu herkömmlichem RL.