Nemotron-Math: Effiziente Langkontext-Distillation mathematischer Argumentation

Die neueste Veröffentlichung von Nemotron-Math liefert ein umfangreiches mathematisches Reasoning‑Dataset, das die Grenzen bisheriger Datensätze sprengt. Mit 7,5 Millionen Lösungstraces deckt es drei unterschiedliche Denkmodi – hoch, mittel und niedrig – ab und bietet jede Variante sowohl mit als auch ohne Python‑Tool‑Integration (TIR). Diese Vielfalt ermöglicht eine realitätsnahe Simulation komplexer mathematischer Problemlösungen.

Der Datensatz kombiniert 85 000 sorgfältig kuratierte AoPS‑Aufgaben mit 262 000 Community‑Beiträgen aus StackExchange‑Math. Durch die Verschmelzung von strukturierten Wettbewerbsaufgaben und heterogenen Alltagsfragen entsteht ein robustes Trainingsmaterial, das sowohl die Tiefe als auch die Breite mathematischer Fragestellungen abdeckt.

Kontrollierte Evaluierungen zeigen, dass Nemotron-Math die Leistung von OpenMathReasoning bei AoPS‑Aufgaben deutlich übertrifft. Die Integration von StackExchange‑Math erhöht die Robustheit und Generalisierung, insbesondere bei HLE‑Math‑Tests, ohne die Genauigkeit bei Wettbewerbsbenchmarks zu beeinträchtigen.

Um das Training mit extrem langen Kontexten zu beschleunigen, wurde eine sequentielle Bucket‑Strategie entwickelt. Diese ermöglicht ein 128‑K‑Token‑Fine‑Tuning, das 2‑3 mal schneller ausgeführt wird, ohne dass die Genauigkeit leidet.

Die Ergebnisse sind beeindruckend: Nemotron-Math erzielt 100 % Maj@16‑Genauigkeit bei AIME 2024 und 2025, wenn Python‑TIR eingesetzt wird. Damit setzt das Dataset neue Maßstäbe für die Entwicklung leistungsfähiger mathematischer KI‑Modelle.