Token‑Wahrscheinlichkeiten enthüllen Nichtdeterminismus von LLMs

Eine neue Untersuchung zeigt, dass große Sprachmodelle (LLMs) auf Grafikkarten (GPUs) trotz deterministischer Konfigurationen nicht deterministische Ergebnisse liefern. Der Grund liegt in den begrenzten Präzisions­eigenschaften der arithmetischen Operationen, die von der Ausführungsreihenfolge abhängen – diese wiederum wird durch gleichzeitig laufende Prozesse auf der GPU bestimmt.

Während frühere Studien sich auf die Auswirkungen des Nichtdeterminismus auf den generierten Text oder auf Mechanismen zur Erreichung deterministischer Ausführungen konzentrierten, analysiert die aktuelle Arbeit die Schwankungen der Token‑Wahrscheinlichkeiten selbst. Dabei wurden mehrere Modelle verglichen und zeigte sich, dass sie ähnliche Trends und Werte aufweisen.

Besonders auffällig sind die signifikanten Variationen bei Token‑Wahrscheinlichkeiten im Bereich von 0,1 bis 0,9; bei Werten nahe 0 oder 1 sind die Schwankungen deutlich geringer. Diese Erkenntnisse deuten darauf hin, dass Nichtdeterminismus bei nicht‑null‑Temperaturen die Qualität des generierten Textes beeinflussen kann, da die Wahrscheinlichkeiten stark variieren. Gleichzeitig legt die Studie nahe, dass sämtliche Modelle auf Token‑Ebene vergleichbare nichtdeterministische Schwankungen aufweisen.