RLAX: Skalierendes, verteiltes Reinforcement Learning für LLMs auf TPUs

Mit RLAX präsentiert das Forschungsteam ein hochskalierbares Reinforcement‑Learning‑Framework, das speziell für große Sprachmodelle (LLMs) auf TPUs entwickelt wurde. Das System nutzt eine Parameter‑Server‑Architektur: ein Master‑Trainer überträgt regelmäßig aktualisierte Modellgewichte an den Server, während ein Netzwerk von Inferenz‑Workern die neuesten Gewichte abruft und neue Rollouts generiert.

Um die Skalierbarkeit und die Ausfallsicherheit zu erhöhen, wurden mehrere Systemtechniken eingeführt, die preemptible RL für eine Vielzahl von modernen RL‑Algorithmen ermöglichen. Zusätzlich wurden neue Techniken zur Datensatzkuratierung und -ausrichtung entwickelt, die die Konvergenz beschleunigen und die Modellqualität verbessern.

Groß angelegte Tests zeigen, dass RLAX die Pass@8‑Genauigkeit von QwQ‑32B um 12,8 % steigert – und das in nur 12 Stunden und 48 Minuten auf 1024 v5p TPUs. Dabei bleibt das Training robust gegenüber Unterbrechungen, was die praktische Einsatzfähigkeit des Ansatzes unterstreicht.