LLMs meistern Mathe‑Benchmarks, aber im Kontext bleiben sie hinterher

Ein neuer Beitrag auf arXiv (2601.23048v1) beleuchtet, warum große Sprachmodelle, die bei klassischen Mathe‑Tests wie AIME und MATH‑500 nahezu Expertenleistungen erbringen, in realen, kontextbasierten Aufgaben immer noch stark nachlassen. Der Autor hebt hervor, dass die Lücke zwischen abstrakten Prüfungen und praxisnahen Szenarien noch nicht vollständig geschlossen ist.

Zur Untersuchung wurde das Benchmark „ContextMATH“ entwickelt, das die bestehenden Aufgaben in zwei neue Formate überführt. Im „Scenario Grounding“ (SG) werden die Probleme in realistische Erzählungen eingebettet, ohne die Rechenkomplexität zu erhöhen. Im „Complexity Scaling“ (CS) werden explizite Bedingungen in Teilaufgaben zerlegt, um die Art von Einschränkungen zu simulieren, die in der Praxis häufig auftreten. Damit entsteht ein realistischer Test, der sowohl das Verständnis als auch die Problemlösungskompetenz der Modelle unter prüft.

Die Evaluation umfasste 61 proprietäre und Open‑Source‑Modelle. Die Ergebnisse zeigen deutliche Leistungsverluste: Open‑Source‑Modelle fallen im SG um 13 Punkte und im CS um 34 Punkte, während proprietäre Modelle im SG um 13 und im CS um 20 Punkte zurückfallen. Eine Fehleranalyse verdeutlicht, dass die meisten Fehler auf falsche Problemformulierung zurückzuführen sind – ein Fehler, der mit zunehmender Schwierigkeit des Ausgangsproblems stärker wird. Größere Modelle zeigen jedoch eine bessere Formulierung und damit auch ein verbessertes logisches Denken, was auf einen Fortschritt in beiden Bereichen hindeutet.

Der Autor betont, dass sowohl die korrekte Formulierung als auch das logische Schließen zwei eng verbundene Engpässe darstellen, die die kontextuelle Mathe‑Lösung begrenzen. Eine Feinabstimmung mit Szenariodaten verbessert die Leistung, während reine Formulierungstraining kaum Wirkung zeigt. Trotz dieser Fortschritte bleibt die Lücke zwischen abstrakten Benchmarks und realen Anwendungen nur teilweise geschlossen, was auf weitere Forschungsbedarf in der Modellarchitektur und im Training hinweist.