GAUSS: Neues Benchmark für strukturierte Mathematikfähigkeiten von LLMs

Mit dem neuen Benchmark GAUSS (General Assessment of Underlying Structured Skills in Mathematics) setzen Forscher einen Meilenstein in der Bewertung der mathematischen Kompetenzen großer Sprachmodelle. GAUSS analysiert die Fähigkeiten von LLMs in zwölf zentralen Dimensionen, die in drei übergeordnete Bereiche gegliedert sind: Wissen und Verständnis, Problemlösung und Kommunikation sowie Meta‑Skills und Kreativität.

Durch die systematische Kategorisierung von Aufgaben nach kognitiven Fertigkeiten und die gezielte Isolierung einzelner Fähigkeiten liefert GAUSS detaillierte, interpretierbare Profilbilder der mathematischen Intelligenz eines Modells. Diese Profile spiegeln die zugrunde liegenden Stärken und Schwächen wider und ermöglichen einen differenzierten Vergleich zwischen verschiedenen Modellen.

Ein anschauliches Beispiel zeigt die Leistungsanalyse von GPT‑5‑thinking. Das Profil hebt die Stärken des Modells hervor, weist zugleich auf Schwächen hin und vergleicht die Ergebnisse mit denen von o4‑mini‑high. Diese multidimensionale, skill‑basierte Bewertung unterstreicht die Bedeutung einer umfassenden Analyse, um die tatsächliche mathematische Leistungsfähigkeit von LLMs zu verstehen.