MathMixup: LLMs verbessern Mathe mit kontrollierter Daten‑Synthese

In der Welt der mathematischen Problemlösung setzen große Sprachmodelle (LLMs) zunehmend auf qualitativ hochwertige Trainingsdaten, die klar definierte Schwierigkeitsgrade besitzen. Bisherige Syntheseverfahren liefern jedoch oft nur begrenzte Vielfalt und lassen die Problemstärke nicht präzise steuern, was die Nutzung von Curriculum‑Learning erschwert.

MathMixup löst dieses Problem, indem es ein neues Syntheseparadigma einführt, das mathematische Aufgaben systematisch erzeugt und dabei die Schwierigkeit exakt reguliert. Durch die Kombination von hybriden und dekomponierten Strategien entstehen Aufgaben mit hoher semantischer Klarheit und einem gut strukturierten Schwierigkeitsgradienten. Zusätzlich werden automatisierte Selbstprüfungen und manuelle Qualitätskontrollen eingesetzt, um die Konsistenz der Daten sicherzustellen.

Auf Basis dieser Daten wurde das MathMixupQA‑Dataset erstellt, das als Grundlage für ein Curriculum‑Learning‑Modell dient. Dieses Modell kann flexibel mit anderen Datensätzen kombiniert werden und nutzt die graduell gesteigerten Aufgaben, um LLMs schrittweise zu trainieren. Experimentelle Ergebnisse zeigen, dass die Methode die mathematischen Fähigkeiten von LLMs deutlich verbessert: Ein feinabgestimmtes Qwen2.5‑7B-Modell erreichte durchschnittlich 52,6 % auf sieben führenden mathematischen Benchmarks und übertraf damit frühere Spitzenleistungen.

Die Ergebnisse bestätigen die Wirksamkeit von MathMixup und demonstrieren, wie datenorientiertes Curriculum‑Learning die mathematische Kompetenz von Sprachmodellen nachhaltig steigern kann. Diese Fortschritte markieren einen wichtigen Schritt in der Weiterentwicklung von LLMs für komplexe, mathematische Aufgabenstellungen.