SHAPE: Hierarchisches Belohnungssystem steigert LLM-Logik um 3 % und spart 30 % Tokens

In der Welt der großen Sprachmodelle (LLMs) hat die Prozessüberwachung als vielversprechender Ansatz zur Verbesserung der Logik an Bedeutung gewonnen. Bisher konnten bestehende Verfahren jedoch nicht zuverlässig zwischen wirklichem Fortschritt und bloßer Wortschmuck unterscheiden, was die Rechenleistung begrenzte und zu ineffizientem Tokenverbrauch führte.

Mit dem neuen Framework SHAPE – Stage-aware Hierarchical Advantage via Potential Estimation – wird das Problem angegangen, indem das logische Vorgehen als Weg durch einen Zustandsraum der empirischen Lösbarkeit modelliert wird. SHAPE nutzt eine hierarchische Kreditzuweisung: Auf Segmentebene kommt eine stufenorientierte Vorteilfunktion zum Einsatz, die effiziente Durchbrüche in Zuständen mit geringem Potenzial priorisiert. Auf Tokenebene erfolgt eine entropiegetriebene Umverteilung, die die Ausführungssignale schärft und so die Genauigkeit erhöht.

Umfangreiche Tests in mathematischem Problemlösen, durchgeführt mit drei Basismodellen und fünf Benchmark-Sätzen, zeigen, dass SHAPE die durchschnittliche Genauigkeit um 3 % steigert und gleichzeitig den Tokenverbrauch um 30 % senkt. Diese Ergebnisse deuten darauf hin, dass SHAPE einen bedeutenden Schritt zur effizienteren und präziseren Nutzung von LLMs darstellt.