ABD: Benchmark für Default‑Exception‑Abduktion in endlichen First‑Order‑Welten

Auf der Plattform arXiv wurde ein neues Benchmark‑Set namens ABD vorgestellt, das die Herausforderung der Default‑Exception‑Abduktion in endlichen First‑Order‑Welten systematisch untersucht. Das Ziel ist es, Modelle zu entwickeln, die fehlende oder widersprüchliche Fakten erkennen und durch gezielte Ausnahmen wieder konsistent machen.

Der Ansatz basiert auf einer Hintergrundtheorie, die ein Abnormalitätsprädikat enthält, sowie einer Sammlung relationaler Strukturen. Ein Modell muss eine First‑Order‑Formel erzeugen, die die Ausnahmen definiert, damit die Theorie wieder erfüllbar wird. Dabei wird besonders darauf geachtet, dass die Ausnahmen möglichst sparsam bleiben, um die Klarheit und Interpretierbarkeit der Ergebnisse zu gewährleisten.

Für die Bewertung wurden drei Beobachtungsregime definiert: Closed‑World, Existential Completion und Universal Completion. Jedes Regime wird mit exakten SMT‑Verifikationsverfahren überprüft, sodass die Korrektheit der erzeugten Formeln garantiert ist.

In einer umfangreichen Evaluation wurden zehn führende Large‑Language‑Models (LLMs) auf 600 Instanzen getestet. Die besten Modelle erzielten eine hohe Gültigkeit, jedoch blieben Lücken in der Parsimonie bestehen. Eine Holdout‑Analyse zeigte, dass die Modelle in den verschiedenen Regimen unterschiedliche Generalisierungsfehler aufweisen, was auf spezifische Schwachstellen in der Modellarchitektur hinweist.