LLM‑unterstützte Theoremprüfung: miniF2F‑Dafny erreicht 44,7 % Lösungen
Mit großer Begeisterung stellen wir miniF2F‑Dafny vor – die erste Übersetzung des mathematischen Reasoning‑Benchmarks miniF2F in den automatisierten Theoremprüfer Dafny. Bislang existierte das Benchmark ausschließlich i…
- Mit großer Begeisterung stellen wir miniF2F‑Dafny vor – die erste Übersetzung des mathematischen Reasoning‑Benchmarks miniF2F in den automatisierten Theoremprüfer Dafny.
- Bislang existierte das Benchmark ausschließlich in interaktiven Theoremprüfern wie Lean, Isabelle, HOL Light und Metamath.
- Die Ergebnisse sind beeindruckend: Dafny’s Automatisierung kann 99 von 244 (40,6 %) Testaufgaben sowie 109 von 244 (44,7 %) Validierungsaufgaben vollständig mit leeren B…
Mit großer Begeisterung stellen wir miniF2F‑Dafny vor – die erste Übersetzung des mathematischen Reasoning‑Benchmarks miniF2F in den automatisierten Theoremprüfer Dafny. Bislang existierte das Benchmark ausschließlich in interaktiven Theoremprüfern wie Lean, Isabelle, HOL Light und Metamath.
Die Ergebnisse sind beeindruckend: Dafny’s Automatisierung kann 99 von 244 (40,6 %) Testaufgaben sowie 109 von 244 (44,7 %) Validierungsaufgaben vollständig mit leeren Beweisen – also ohne manuelle Eingriffe – verifizieren.
Für die Fälle, in denen leere Beweise scheitern, haben wir zwölf gängige Large‑Language‑Models (LLMs) auf ihre Fähigkeit getestet, Beweishinweise zu liefern. Das bestperformende Modell erzielt einen Pass@4‑Erfolg von 55,7 % und nutzt dabei iterative Fehlerkorrektur, um die Beweisschritte zu verfeinern.
Diese ersten Ergebnisse zeigen eine effektive Aufgabenteilung: LLMs liefern hochrangige strategische Hinweise, während Dafny die detaillierte, low‑level‑Automatisierung übernimmt. Das Benchmark‑Repository steht unter github.com/dafny-lang/miniF2F und lädt zur weiteren Erforschung ein.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.