CoScale‑RL: Effizientes Post‑Training Skalieren von Daten und Rechenleistung

Ein neues Verfahren namens CoScale‑RL verspricht, die Nachschulung großer Rechenmodelle deutlich effizienter zu gestalten. Durch eine innovative Kombination aus Daten‑ und Rechenleistungsskalierung kann die Genauigkeit von Modellen, die komplexe logische Aufgaben lösen, drastisch gesteigert werden.

Traditionell sind große Reasoning‑Modelle (LRM) bei schwierigen Aufgaben sehr instabil und ihre Leistung lässt sich kaum vorhersagen. Die bisher üblichen Post‑Training‑Strategien verbessern zwar die Ergebnisse, erreichen aber selten signifikante Durchbrüche. CoScale‑RL geht einen Schritt weiter, indem es nicht nur die Datenmenge erhöht, sondern gezielt mehrere Lösungen für jedes Problem sammelt.

Die Kernidee besteht darin, die Lösungssätze zu vergrößern, um schwierige Aufgaben lösbar zu machen, und gleichzeitig die Rollout‑Rechenleistung zu skalieren, um das Reinforcement‑Learning zu stabilisieren. Zusätzlich nutzt das Verfahren eine Re‑Distillation‑Methode, die es ermöglicht, die Effizienz beizubehalten oder sogar zu steigern, wenn die Modellgröße wächst.

Die Ergebnisse sind beeindruckend: Auf vier unterschiedlichen Benchmarks konnte die Genauigkeit im Durchschnitt um 3,76‑Fach verbessert werden – ohne dass ein umfangreiches SFT‑Dataset erforderlich ist. CoScale‑RL erweitert damit die Leistungsgrenzen von LRMs und eröffnet einen neuen Ansatz für die Weiterentwicklung ihrer Denkfähigkeit.