CompassMax‑V3‑Thinking: RL für hundert Milliarden MoE ohne Rollout‑Verlust

Das neue Modell CompassMax‑V3‑Thinking setzt einen Meilenstein in der Skalierung von Reinforcement‑Learning (RL) auf hundert Milliarden Parameter. Durch einen klaren Leitgedanken – „jeder Prompt muss zählen“ – wird die Effizienz von Rollouts maximiert und die Lernrate signifikant gesteigert.

Bei so großen Modellen treten typische Ineffizienzen auf: viele Prompts liefern keine Varianz und verschwenden wertvolle Rollouts, die Importance‑Sampling‑Methoden werden über lange Zeiträume instabil, Standard‑Reward‑Modelle führen zu einer Umkehr der Vorteile (Advantage Inversion) und die Verarbeitung der Rollouts selbst wird zum Flaschenhals. CompassMax‑V3‑Thinking begegnet diesen Problemen mit einer Reihe von durchdachten Innovationen.

Zu den Kernlösungen gehören Multi‑Stage Zero‑Variance Elimination, das unwichtige Prompts filtert und die Policy‑Optimierung stabilisiert; ESPO, ein entropy‑adaptives Optimierungsverfahren, das Token‑ und Sequenz‑Level‑Sampling ausbalanciert; Router Replay, das die Entscheidungen des MoE‑Routers während des Trainings an die Inferenzbedingungen anpasst und damit Train‑Infer‑Diskrepanzen reduziert; sowie ein hochleistungsfähiges RL‑System mit FP8‑Precision‑Rollouts, überlappender Reward‑Berechnung und längs‑sensibler Planung, das Engpässe eliminiert. Diese Kombination ermöglicht ein stabiles und effizientes Training, das sowohl intern als auch in öffentlichen Benchmarks hervorragende Ergebnisse erzielt.