Wie Sprachmodelle Tokens auswählen: Ein neuer Blick auf Softmax
In einer kürzlich veröffentlichten Studie auf arXiv wird die Art und Weise, wie große Sprachmodelle das nächste Token bestimmen, neu beleuchtet. Der Autor beschreibt den Prozess als ein variationales Prinzip auf der Wahrscheinlichkeitstetraeder, das sich in der klassischen Multiplikativ-Weights-Update‑Methode manifestiert. Diese Methode ist identisch mit dem sogenannten Entropic Mirror Update und führt in der kontinuierlichen Zeit zum sogenannten Replicator Flow.
