Pessimistische Verifikation steigert Genauigkeit bei offenen Matheaufgaben
Eine neue Veröffentlichung auf arXiv (2511.21522v1) präsentiert einen Ansatz, der die Zuverlässigkeit von Sprachmodellen bei offenen mathematischen Fragen deutlich erhöht. Der Schlüssel liegt in der verbesserten Fehlererkennung.
Die Autoren haben mehrere Varianten der „pessimistischen Verifikation“ entwickelt. Dabei werden für denselben Beweis mehrere unabhängige Prüfungen parallel ausgeführt. Ein Beweis gilt als falsch, sobald eine dieser Prüfungen einen Fehler meldet. Diese einfache Regel führt zu einer signifikanten Steigerung der Verifikationsleistung.
Der Ansatz erfordert keine zusätzlichen Rechenressourcen und ist token‑effizient – sogar besser als erweiterte lange Chain‑of‑Thought‑Methoden bei der Skalierung zur Laufzeit. In zahlreichen Benchmark‑Tests zeigte sich eine deutliche Leistungsverbesserung.
Die Fallstudien der Arbeit deuten darauf hin, dass viele der bisher als falsch identifizierten Beweise tatsächlich durch Annotationsfehler im Datensatz verursacht wurden. Das bedeutet, dass die tatsächliche Wirksamkeit der Methode noch höher liegen könnte.
Die pessimistische Verifikation bietet damit einen effektiven Weg, die Genauigkeit und Zuverlässigkeit von Sprachmodellen in mathematischen Aufgaben zu erhöhen. Sie spielt zudem eine entscheidende Rolle bei der Bewältigung von Aufgaben mit langen Lösungswegen und trägt damit zur Weiterentwicklung der mathematischen Fähigkeiten von KI-Systemen bei.