Neues Verfahren reduziert Rechenaufwand bei Sprachmodell-Entscheidungen

Ein neues Forschungsverfahren namens Hint‑Practice Reasoning (HPR) verspricht, die Rechenkosten bei der Nutzung großer Sprachmodelle drastisch zu senken. Durch die gezielte Analyse von Decodierungs­pfaden zeigt die Studie, dass die meisten Token‑Vorhersagen bereits mit dem gewünschten Ergebnis übereinstimmen, während nur wenige kritische Tokens zu Abweichungen führen.

HPR kombiniert ein starkes „Hinter“-Modell, das probabilistische Hinweise an entscheidenden Stellen liefert, mit einem kleineren „Praktiker“-Modell, das die eigentlichen Rechenschritte ausführt. Der Kern des Ansatzes ist die Distributional Inconsistency Reduction (DIR), ein theoretisch fundiertes Maß, das dynamisch die Punkte identifiziert, an denen ein Eingreifen sinnvoll ist. Durch iterative Baum‑Updates, die von DIR geleitet werden, werden vielversprechende Pfade verstärkt und unwahrscheinliche Zweige abgeschwächt.

Experimentelle Ergebnisse auf arithmetischen und commonsense‑Reasoning‑Benchmarks zeigen, dass HPR die Effizienz‑Genauigkeit‑Balance von bestehenden Methoden übertrifft. Es erreicht Leistungen, die mit Self‑Consistency und MCTS vergleichbar sind, benötigt jedoch nur ein Fünftel der Tokens und erreicht gleichzeitig bis zu 5,1 % höhere absolute Genauigkeit bei gleichbleibenden oder geringeren FLOPs.