LLM‑Sicherheit: Zufällige Seeds und Temperatur zeigen Inkonsistenzen

Eine neue Studie von Forschern auf arXiv hat die Annahme in Frage gestellt, dass die Sicherheitsentscheidungen großer Sprachmodelle (LLMs) deterministisch und zuverlässig sind. Durch systematisches Testen von vier instruction‑tuned Modellen – Llama 3.1 8 B, Qwen 2.5 7 B, Qwen 3 8 B und Gemma 3 12 B – auf 876 potenziell schädlichen Eingaben wurden signifikante Schwankungen in den Ablehnungsentscheidungen entdeckt.

Die Experimente umfassten 20 verschiedene Sampling‑Konfigurationen, die sich aus vier Temperatur‑Werten (0,0 bis 1,0) und fünf unterschiedlichen Zufalls‑Seeds zusammensetzten. Für jede Konfiguration wurde geprüft, ob das Modell bei einem Prompt ablehnt oder zustimmt. Dabei zeigte sich, dass 18 % bis 28 % der Prompts je nach Konfiguration unterschiedlich reagierten – ein deutlicher Hinweis auf Instabilität.

Zur Quantifizierung der Stabilität wurde der Safety Stability Index (SSI) eingeführt. Die Ergebnisse zeigen, dass höhere Temperaturen die Stabilität stark verringern: Der durchschnittliche SSI sank von 0,951 bei Temperatur 0,0 auf 0,896 bei Temperatur 1,0 (Friedman chi‑quadratisch = 44,71, p < 0,001). Diese Zahlen verdeutlichen, dass die übliche Praxis der Ein‑Shot‑Bewertung die tatsächliche Sicherheit von LLMs nicht zuverlässig abbildet.

Die Befunde wurden durch einen externen Prüfer – Claude 3.5 Haiku – bestätigt, der mit dem primären Llama 70B‑Judge eine Übereinstimmung von 89 % erzielte (Cohen’s kappa = 0,62). Die Studie zeigt, dass Ein‑Shot‑Bewertungen nur 92,4 % der Zeit mit einer mehrstufigen Ground‑Truth übereinstimmen. Aus diesem Grund empfehlen die Autoren, mindestens drei Stichproben pro Prompt zu verwenden, um eine verlässliche Sicherheitsbewertung zu gewährleisten.