InfoDensity: Mehrwert durch kompakte, informationsreiche Beweiswege

In der Forschung zu großen Sprachmodellen (LLMs) wird zunehmend erkannt, dass lange, redundante Beweiswege nicht nur die Rechenzeit erhöhen, sondern auch die Qualität der Zwischenschritte schwächen. Traditionelle Verstärkungslernansätze konzentrieren sich meist auf die Kürze der Endantwort, vernachlässigen jedoch die Qualität der einzelnen Schritte, was zu sogenannten „Reward‑Hacking“-Problemen führen kann.

Um dieses Problem zu adressieren, untersuchte ein neues Forschungsprojekt die bedingte Entropie der Antwortverteilung während der Beweisführung. Dabei zeigte sich, dass hochwertige Beweiswege zwei charakteristische Merkmale besitzen: eine stetige Reduktion der Unsicherheit und einen monotone Fortschritt. Diese Beobachtungen deuten darauf hin, dass ein informativer Beweisweg jedes Zwischenschritt mit einer signifikanten Entropiereduktion versieht, ohne unnötige Token zu verbrauchen.

Basierend auf diesen Erkenntnissen wurde das „InfoDensity“-Framework entwickelt. Es kombiniert einen AUC‑basierten Belohnungsmechanismus mit einer Monotonie‑Belohnung und gewichtet beide durch einen Längen‑Skalierungsfaktor. Dadurch wird die Modellleistung nicht nur in Bezug auf Genauigkeit, sondern auch hinsichtlich Effizienz optimiert.

Experimentelle Tests auf mathematischen Beweis‑Benchmarks zeigen, dass InfoDensity die Genauigkeit von führenden Modellen erreicht oder übertrifft, während es gleichzeitig die Token‑Nutzung deutlich reduziert. Das Ergebnis ist ein starkes Gleichgewicht zwischen Präzision und Rechenaufwand, das die nächste Generation von LLM‑Trainingsmethoden vorantreibt.