FormalProofBench: KI‑Modelle meistern formale Graduiertenbeweise

Ein neues Benchmark‑Set namens FormalProofBench wurde vorgestellt, um zu prüfen, ob KI‑Modelle in der Lage sind, mathematische Beweise auf Graduierten‑Ebene formal zu verifizieren. Dabei werden Aufgaben aus Prüfungen und Standardlehrbüchern in Fächern wie Analysis, Algebra, Wahrscheinlichkeitstheorie und Logik verwendet. Jede Aufgabe kombiniert ein natürlichsprachliches Problem mit einer formalen Aussage in Lean 4, und das Modell muss einen Lean‑Proof liefern, der vom Lean 4‑Checker akzeptiert wird.

Die Studie testete mehrere hochmoderne Modelle mit einem agentenbasierten Ansatz. Das leistungsstärkste Modell erreichte eine Genauigkeit von 33,5 %. Danach fällt die Erfolgsrate deutlich ab, was die Herausforderung unterstreicht, komplexe mathematische Argumente vollständig zu automatisieren. Die Autoren analysieren zudem, wie oft die Modelle Hilfswerkzeuge nutzen, welche Fehlerarten auftreten und welche Kosten sowie Latenzen mit dem Einsatz solcher Systeme verbunden sind.

FormalProofBench liefert damit einen umfassenden Überblick über die aktuellen Grenzen und Möglichkeiten von KI im formalen Theorembeweis. Die Ergebnisse zeigen, dass wir zwar Fortschritte machen, aber noch einen weiten Weg vor uns haben, bevor KI‑Modelle zuverlässig und vollständig formale Graduiertenbeweise erstellen können.