NoReGeo: Benchmark prüft geometrisches Verständnis von LLMs ohne Rechnen

Die neueste Veröffentlichung auf arXiv (2601.10254v1) stellt NoReGeo vor – ein innovatives Testverfahren, das die reine geometrische Intuition großer Sprachmodelle (LLMs) ohne Einsatz von Rechenlogik oder algebraischer Herleitung prüft. Im Gegensatz zu bisherigen Benchmarks, die vor allem das Lösen von Aufgaben durch deduktives Denken bewerten, konzentriert sich NoReGeo darauf, ob Modelle räumliche Beziehungen und geometrische Eigenschaften direkt erfassen können.

NoReGeo umfasst 2 500 scheinbar einfache geometrische Fragestellungen, die in 25 Kategorien verteilt sind. Jede Aufgabe ist so gestaltet, dass sie ausschließlich durch ein natives geometrisches Verständnis lösbar ist, vorausgesetzt, die Positionen der Objekte sind bekannt. Die Testreihe ist damit ein direkter Indikator dafür, wie gut ein Modell intrinsisch geometrische Konzepte internalisiert.

Bei der Bewertung führten die Autoren Tests mit führenden Modellen durch, darunter GPT‑4. Die Ergebnisse zeigen, dass selbst die fortschrittlichsten Systeme bei binären Klassifikationsaufgaben höchstens 65 % Genauigkeit erreichen. Diese Zahl verdeutlicht einen deutlichen Leistungsrückstand in der Fähigkeit, geometrische Zusammenhänge ohne zusätzliche Rechenlogik zu erfassen.

Weiterhin demonstrierten Ablationsexperimente, dass das reine Feintuning von Modellen nicht ausreicht, um geometrisches Verständnis zu entwickeln. Stattdessen bedarf es spezialisierter Trainingsansätze, die von Anfang an auf geometrische Kognition ausgerichtet sind. Diese Erkenntnis unterstreicht die Notwendigkeit, neue Lernmethoden zu erforschen, die LLMs echte geometrische Intelligenz verleihen.

NoReGeo liefert damit eine solide Basis für zukünftige Forschungsarbeiten, die darauf abzielen, Sprachmodelle mit echter geometrischer Wahrnehmung auszustatten. Die Arbeit hebt die bestehenden Lücken in der geometrischen Kompetenz von LLMs hervor und eröffnet Wege, diese Lücken systematisch zu schließen.