Wie Sprachmodelle Tokens auswählen: Ein neuer Blick auf Softmax

In einer kürzlich veröffentlichten Studie auf arXiv wird die Art und Weise, wie große Sprachmodelle das nächste Token bestimmen, neu beleuchtet. Der Autor beschreibt den Prozess als ein variationales Prinzip auf der Wahrscheinlichkeitstetraeder, das sich in der klassischen Multiplikativ-Weights-Update‑Methode manifestiert. Diese Methode ist identisch mit dem sogenannten Entropic Mirror Update und führt in der kontinuierlichen Zeit zum sogenannten Replicator Flow.

Die Analyse zeigt, dass für einen festen Kontext und eine feste Temperatur die Verteilung des nächsten Tokens einer glatten Trajektorie innerhalb des Simplex folgt und schließlich das Softmax‑Equilibrium erreicht. Damit wird die oft informelle Vorstellung von „Manifold Traversal“ auf mathematischer Ebene bestätigt. Ein wichtiger Befund ist, dass die Temperatur lediglich die Zeit entlang derselben Trajektorie skaliert, während Top‑k‑ und Nucleus‑Sampling den Fluss auf eine Unterfläche beschränken, ohne die grundlegenden Garantien zu verlieren.

Darüber hinaus skizziert die Arbeit einen kontrollierten Ansatz für score‑abhängige Anpassungen, die mit loop‑artigen, halluzinatorischen Verhaltensweisen in Verbindung stehen. Der Autor betont, dass keine Aussagen über Trainingsdynamiken oder interne Repräsentationen getroffen werden – diese Themen bleiben für zukünftige Untersuchungen offen.