TabularMath: Benchmark prüft, ob Tabellenmodelle Computation extrapolieren können

In der Welt der tabellarischen Daten konzentrieren sich die meisten Benchmarks bislang auf die Fähigkeit von Modellen, Werte innerhalb eines Datenraums zu interpolieren. Doch viele wertvolle Anwendungsbereiche – etwa Finanzmodelle oder physikalische Simulationen – beruhen auf deterministischen Berechnungen, bei denen Genauigkeit und Extrapolation entscheidend sind.

Um diese Lücke zu schließen, stellt das neue Projekt TabularMath ein Diagnose-Benchmark mit 114 deterministischen Aufgaben vor, die aus 233 472 Zeilen bestehen. Die Aufgaben werden aus verifizierten Programmen abgeleitet, die auf den bekannten Datensätzen GSM8K und AIME basieren. Damit entsteht ein realistisches Testfeld, das die Fähigkeit von Modellen prüft, über bekannte Daten hinaus präzise Ergebnisse zu liefern.

Bei der Evaluation wurden neun tabellarische Architekturen sowie In‑Context‑Learning (ICL) mit GPT‑OSS‑120B getestet. TabPFN v2.5 erzielte auf Standard‑Regressionsmetriken ein beeindruckendes R² von 0,998 im‑Distribution und behielt selbst bei Verteilungsverschiebungen ein positives R² bei – ein einzigartiges Ergebnis unter den getesteten Modellen. Auf der anderen Seite zeigte TabPFN jedoch bei der Messung der gerundeten Konsistenz (exakte Ganzzahl‑Übereinstimmung) einen drastischen Rückgang auf unter 10 % bei Out‑of‑Distribution‑Daten, während ICL etwa 40 % erreichte. Diese Diskrepanz verdeutlicht, dass tabellarische Modelle zwar glatte Funktionsapproximationen liefern, aber bei der exakten Berechnung unter extrapolierten Bedingungen an ihre Grenzen stoßen.

Die Ergebnisse legen nahe, dass TabPFN und ICL komplementär wirken: TabPFN skaliert effizient mit Datenmengen, während ICL aus wenigen Beispielen exakte Berechnungen ermöglicht. Das Team veröffentlicht sämtliche Code‑ und Datensätze, um die Forschung in diesem wichtigen Bereich weiter voranzutreiben.