Effiziente Mathematik-Wettbewerb: Off-the-Shelf Modelle übertreffen Goldmedaille

In den vergangenen zwölf Monaten haben maßgeschneiderte, bislang nicht veröffentlichte Mathematik‑Reasoning‑Modelle die Goldmedaille bei der Internationalen Mathematik‑Olympiade (IMO) errungen. Gleichzeitig wurde gezeigt, dass auch öffentlich zugängliche Modelle mit großem Rechenaufwand ähnliche Leistungen erzielen können – allerdings zu Kosten von rund 3.000 USD pro Problem.

Die neue Studie präsentiert einen Inferenz‑Pipeline, die bei IMO‑ähnlichen Aufgaben die best‑in‑class‑Performance erzielt, jedoch mit einem durchschnittlichen Kostenfaktor, der um ein Vielfaches niedriger ist. Der Ansatz nutzt allgemeine, off‑the‑shelf‑Modelle und baut auf einer tiefen Analyse von Fehlerquellen in Solver‑Grader‑Pipelines auf, die als „Cognitive Well“ bezeichnet werden. Dabei handelt es sich um iterative Verfeinerungen, die zu einer falschen, aber vom Solver und internen Grader als korrekt angesehenen Lösung führen.

Um diese Fehler zu vermeiden, extrahiert die Pipeline gezielt Vermutungen (Conjectures) aus generierten Lösungen, isoliert potenzielle Lemmas und prüft sie – zusammen mit ihren Negationen – in einer neuen, unabhängigen Umgebung. Dieser Ansatz der Kontext‑Entkopplung verhindert, dass fehlerhafte Annahmen die endgültige Antwort beeinflussen.

Auf der Benchmark‑Suite „IMO‑ProofBench Advanced“ (PB‑Adv) erreicht die Pipeline mit dem Modell Gemini 3.0 Pro eine Erfolgsquote von 67,1 %. Der durchschnittliche Kostenfaktor pro Frage beträgt dabei nur etwa 31 USD. Zu dem Zeitpunkt der Evaluation stellte dies den Stand‑der‑Kunst auf PB‑Adv dar, sowohl unter öffentlichen als auch unter unreleased Modellen, und verdoppelte die Erfolgsrate des nächstbesten öffentlich zugänglichen Pipelines – und das zu einem Bruchteil der Kosten.