LLMs zeigen schwache Zufälligkeit: Studie enthüllt Grenzen bei Randomness‑Tasks

Die rasante Entwicklung von großen Sprachmodellen (LLMs) hat zahlreiche Anwendungen hervorgebracht, die auf Zufälligkeit angewiesen sind – von stochastischen Entscheidungen über Spiele bis hin zu kryptografischen Aufgaben. Trotz dieser breiten Einsatzmöglichkeiten bleibt unklar, wie gut LLMs tatsächlich mit Zufallszahlen umgehen können.

Eine neue Untersuchung, veröffentlicht auf arXiv (2510.12080v1), testet die Fähigkeit von LLMs in einer Reihe von Zufallsaufgaben. Dabei wurden Faktoren wie der Zugriff auf externe Tools, die Art der Aufgabe, der Modellzustand (frisch vs. nicht frisch) und die Prompting‑Strategie systematisch variiert.

Die Experimente umfassten das Generieren von Zufallszahlen, zufälligen Zeichenketten (z. B. Passwörter), das Mischen von Elementen sowie die Bewertung der Zufälligkeit mittels Entropie‑Messungen und dem NIST‑Randomness‑Test‑Suite. Die Ergebnisse zeigen, dass LLMs zwar gelegentlich zufällige Ausgaben erzeugen, ihre Leistung jedoch inkonsistent ist und häufig von den erwarteten Standards abweicht.

Die Analyse hebt deutliche Einschränkungen hervor und legt nahe, dass weitere Optimierungen nötig sind, damit LLMs zuverlässig Aufgaben mit echter Zufälligkeit bewältigen können. Diese Erkenntnisse sind ein wichtiger Schritt, um die Grenzen der KI in sicherheitskritischen und spielerischen Kontexten besser zu verstehen.