GrAlgoBench enthüllt Schwächen großer Rechenmodelle bei Graphenalgorithmen

Ein neues Benchmark-Set namens GrAlgoBench, veröffentlicht auf arXiv (2602.06319v1), richtet sich gezielt an große Rechenmodelle (LRMs) und prüft deren Fähigkeiten anhand von Graphenalgorithmus-Problemen. Diese Aufgaben sind ideal, um das Langzeit‑Kontext‑Verständnis zu testen, da sie komplexe, sequentielle Schritte erfordern und gleichzeitig eine feingranulare Steuerung der Schwierigkeitsgrade ermöglichen.

Die Studie umfasst neun verschiedene Aufgaben und zeigt zwei zentrale Schwächen moderner LRMs auf. Erstens sinkt die Genauigkeit drastisch, sobald die Graphen mehr als 120 Knoten umfassen – ein Rückgang, der auf häufige Ausführungsfehler, begrenzte Speicherfähigkeit und redundante Überlegungen zurückzuführen ist. Zweitens neigen die Modelle zu einem „Over‑Thinking“-Phänomen, bei dem umfangreiche, aber wenig hilfreiche Selbstüberprüfungen die Rechenwege verlängern, ohne die Richtigkeit zu verbessern.

GrAlgoBench bietet damit ein robustes, mehrdimensionales Testfeld, das die Weiterentwicklung von Rechenmodellen in Bezug auf logisches Denken und Problemlösung fördert. Der zugehörige Code ist frei verfügbar unter https://github.com/Bklight999/GrAlgoBench.