SurfaceBench: LLMs entdecken 3D‑Flächenformeln – Benchmark für Regression

SurfaceBench ist das erste umfassende Benchmark‑Set für die symbolische Entdeckung von 3D‑Flächen. Es umfasst 183 Aufgaben in 15 Kategorien, die explizite, implizite und parametrisierte Gleichungsformen abdecken. Jede Aufgabe liefert synthetisch generierte 3‑D‑Daten, die zu einer bekannten Gleichung passen, sowie die Semantik der Variablen.

Im Gegensatz zu bisherigen Benchmarks, die sich auf eindimensionale Funktionen beschränken, berücksichtigt SurfaceBench die physikalische Struktur der Daten. Die Bewertung erfolgt nicht nur über string‑basierte Übereinstimmungen, sondern nutzt geometrische Metriken wie Chamfer‑ und Hausdorff‑Entfernungen, um sowohl die algebraische Genauigkeit als auch die räumliche Rekonstruktion zu messen.

Die Aufgaben stammen aus realen wissenschaftlichen Bereichen – Fluiddynamik, Robotik, Elektromagnetik und Geometrie – und sind so gestaltet, dass sie das Memorieren von Formeln erschweren. Durch neuartige symbolische Kompositionen werden die Modelle gezwungen, wirklich zu lernen, anstatt bekannte Muster abzurufen.

Experimentelle Ergebnisse zeigen, dass aktuelle Frameworks zwar bei bestimmten Familien von Gleichungen erfolgreich sind, jedoch Schwierigkeiten haben, über verschiedene Darstellungsformen und Komplexitätsstufen hinweg zu generalisieren. SurfaceBench legt damit einen klaren Maßstab für die Leistungsfähigkeit selbstlernender LLMs im Bereich der symbolischen Regression.

Mit SurfaceBench erhalten Forscher ein robustes Testfeld, um die Grenzen von LLM‑basierten Modellen zu erkunden und die Entwicklung von Algorithmen zu fördern, die echte wissenschaftliche Gleichungen aus Daten extrahieren können.