MAP‑Elites kartiert Fehlermuster in Sprachmodellen

In einer wegweisenden Studie wird ein neues Verfahren vorgestellt, das die „Manifold of Failure“ großer Sprachmodelle systematisch kartiert. Anstatt nur einzelne Angriffe zu rekonstruieren, untersucht die Methode die unsicheren Regionen selbst und liefert damit ein umfassenderes Bild der Sicherheitslage von LLMs.

Der Ansatz nutzt MAP‑Elites, ein Verfahren aus der Qualitätsdiversitätsforschung, um kontinuierliche Topologien von Fehlermustern – sogenannte „behavioral attraction basins“ – zu entdecken. Als Qualitätsmaßstab dient die Alignment Deviation, die angibt, wie stark das Verhalten eines Modells von seiner beabsichtigten Ausrichtung abweicht.

Bei drei Modellen – Llama‑3‑8B, GPT‑OSS‑20B und GPT‑5‑Mini – erreichte MAP‑Elites bis zu 63 % Verhaltensabdeckung und identifizierte bis zu 370 unterschiedliche Schwachstellen‑Nischen. Die Topologie unterscheidet sich stark: Llama‑3‑8B weist ein nahezu universelles Schwachstellen‑Plateau mit einem mittleren Alignment Deviation von 0,93 auf, GPT‑OSS‑20B zeigt ein fragmentiertes Landschaftsbild mit stark konzentrierten Basins (Mittelwert 0,73), während GPT‑5‑Mini eine robuste Struktur mit einer Deviationsschwelle von 0,50 demonstriert.

Die erzeugten, interpretierbaren globalen Karten geben Einblicke, die bisherige Angriffsmethoden wie GCG, PAIR oder TAP nicht bieten können. Damit verschiebt die Arbeit das Paradigma von der Suche nach einzelnen Fehlern hin zur strukturellen Analyse von Sicherheitslücken in Sprachmodellen.