Token‑Wahrscheinlichkeiten enthüllen Nichtdeterminismus von LLMs
Eine neue Untersuchung zeigt, dass große Sprachmodelle (LLMs) auf Grafikkarten (GPUs) trotz deterministischer Konfigurationen nicht deterministische Ergebnisse liefern. Der Grund liegt in den begrenzten Präzisionseigenschaften der arithmetischen Operationen, die von der Ausführungsreihenfolge abhängen – diese wiederum wird durch gleichzeitig laufende Prozesse auf der GPU bestimmt.
