SymPyBench: Dynamisches Benchmark für wissenschaftliches Denken mit Python-Code

Ein neues, umfangreiches Benchmarking-Set namens SymPyBench wurde vorgestellt, das 15.045 physikalische Aufgaben auf Universitätsniveau umfasst. Die Aufgaben sind vollständig parametrisiert, sodass unendlich viele Varianten erzeugt werden können, und jede Aufgabe wird mit einer strukturierten, schrittweisen Begründung sowie ausführbarem Python-Code geliefert, der die korrekte Lösung für jede Parameterwahl berechnet.

Das Benchmark deckt drei unterschiedliche Fragestellungen ab: Multiple‑Choice-Fragen mit symbolischen Optionen (MC‑Symbolic), Multiple‑Choice-Fragen mit numerischen Optionen (MC‑Numerical) und offene Fragen mit frei formulierten Antworten. Durch diese Vielfalt werden verschiedene Aspekte des wissenschaftlichen Denkens gleichzeitig geprüft.

Um die Leistungsfähigkeit von Modellen genauer zu beurteilen, wurden neben der üblichen Genauigkeit drei neue Metriken eingeführt: der Consistency Score, der Failure Rate und der Confusion Rate. Diese Kennzahlen messen die Konsistenz, die Fehlerhäufigkeit und die Verwirrung über verschiedene Problemvarianten hinweg.

Tests mit führenden, instruction‑tuned Sprachmodellen zeigen sowohl beeindruckende Stärken als auch klare Schwächen im wissenschaftlichen Denken. SymPyBench bietet damit eine solide Basis, um robuste und nachvollziehbare Reaktionssysteme weiterzuentwickeln.