Mathematische Modelle: Erfolgreich, aber instabil – Das Tiefe‑Genauigkeit-Paradox

Mathematische Rechenmodelle werden heute in Bildung, automatisierten Tutorien und Entscheidungsunterstützungssystemen eingesetzt, obwohl sie grundlegende Recheninstabilitäten aufweisen. In einer aktuellen Untersuchung zeigte sich, dass das neueste Modell Qwen2.5‑Math‑7B zwar 61 % Genauigkeit erreicht, jedoch nur 18,4 % der korrekten Vorhersagen auf stabile, vertrauenswürdige Denkwege zurückzuführen sind. Die restlichen 81,6 % entstehen über rechnerisch inkonsistente Pfade.

Besonders alarmierend sind die „stillen Fehler“: 8,8 % aller Vorhersagen sind zwar zuversichtlich, aber falsch. Durch die Anwendung neuer Metriken zur Messung der Vertrauenswürdigkeit konnten die Autoren drei zentrale Erkenntnisse gewinnen. Erstens besteht ein schwaches negatives Korrelation zwischen der Qualität des Denkprozesses und der Richtigkeit (r = –0.21, p = 0,002), was eher auf einen Klassifikationsschwellenfehler als auf ein echtes Umkehrverhältnis hindeutet. Zweitens brachte die Skalierung von 1,5 B auf 7 B Parameter – ein 4,7‑faches Wachstum – keinen Genauigkeitsgewinn bei dem untersuchten Teilset von GSM8K (6 % des gesamten Benchmarks). Drittens nutzt das latente Denken vielfältige Rechenstrategien, wobei etwa 20 % der Fälle Muster ähnlich dem Chain‑of‑Thought (CoT) aufweisen.

Diese Ergebnisse verdeutlichen, dass reine Benchmark‑Genauigkeit die zugrunde liegende Rechenunsicherheit verschleiern kann. Um die Zuverlässigkeit von mathematischen KI‑Systemen wirklich zu beurteilen, sind neue Bewertungsansätze nötig, die Stabilität und Konsistenz über einzelne Stichproben hinaus messen. Nur so lässt sich sicherstellen, dass die Modelle nicht nur korrekt, sondern auch vertrauenswürdig und robust arbeiten.