Kostenlose Mehragenten-Debatte verbessert Sicherheit von Sprachmodellen

In einer neuen Studie wird ein kostengünstiges Mehragenten-Framework vorgestellt, das kleine Sprachmodelle (SLMs) nutzt, um die Sicherheit großer Sprachmodelle (LLMs) zu bewerten. Durch strukturierte Debatten zwischen Kritiker-, Verteidiger- und Richteragenten können die Modelle ihre Entscheidungen transparent und nachvollziehbar treffen.

Zur Überprüfung der Bewertungsergebnisse wurde HAJailBench entwickelt – ein umfangreiches, von Experten annotiertes Jailbreak-Benchmark mit 12.000 adversarialen Interaktionen. Das Datenset deckt verschiedene Angriffsarten und Zielmodelle ab und liefert detaillierte, zuverlässige Referenzdaten für die Messung von Sicherheitsrobustheit und Richterzuverlässigkeit.

Die SLM-basierte Lösung erreicht eine Übereinstimmung mit GPT‑4o-Judges auf HAJailBench, während die Inferenzkosten deutlich reduziert werden. Untersuchungen zeigen, dass drei Debattenrunden das optimale Gleichgewicht zwischen Genauigkeit und Effizienz bieten.

Diese Ergebnisse demonstrieren, dass strukturierte, wertorientierte Debatten es kleinen Modellen ermöglichen, semantische Nuancen von Jailbreak-Angriffen zu erfassen. Gleichzeitig liefert HAJailBench eine solide Basis für die skalierbare Bewertung der Sicherheit von Sprachmodellen.