LLM‑Sicherheit: Forschung zeigt, Parameterregionen kaum zuverlässig

Eine neue Untersuchung auf arXiv beleuchtet, ob die Sicherheit von großen Sprachmodellen (LLMs) durch das Einschränken bestimmter Parameterbereiche gewährleistet werden kann. Dabei wurden vier unterschiedliche Identifikationsmethoden – von einzelnen Gewichten bis hin zu ganzen Transformer‑Schichten – systematisch an vier verschiedenen LLM‑Familien mit unterschiedlichen Größen getestet.

Die Analyse stützt sich auf zehn Datensätze, die typische Sicherheitsfragen abdecken. Die Ergebnisse zeigen, dass die ermittelten Sicherheitsregionen nur geringe bis moderate Überschneidungen aufweisen, gemessen an der Intersection‑over‑Union‑Metrik. Sobald die Regionen zusätzlich mit sogenannten Utility‑Datensätzen (nicht‑schädliche Anfragen) verfeinert werden, sinkt die Überschneidung noch stärker.

Diese Befunde deuten darauf hin, dass die derzeitigen Techniken nicht in der Lage sind, eine stabile, datensatzunabhängige Sicherheitsregion zuverlässig zu identifizieren. Damit stellt sich die Frage, ob Parameter‑basierte Sicherheitsgarantien für LLMs überhaupt realisierbar sind.