AdversariaLLM: Einheitliches Tool zur Forschung an LLM‑Sicherheit

Die rasante Entwicklung von Forschung zu Sicherheit und Robustheit von Large Language Models (LLMs) hat ein fragmentiertes Ökosystem aus Implementierungen, Datensätzen und Evaluationsmethoden hervorgebracht. AdversariaLLM soll dieses Problem lösen und die Vergleichbarkeit sowie Reproduzierbarkeit in der LLM‑Forschung deutlich verbessern.

Die Toolbox bietet zwölf Adversarial‑Attack‑Algorithmen, sieben Benchmark‑Datensätze zu Themen wie schädliche Inhalte, Überweigerung und Nutzenbewertung, und greift auf eine breite Palette von Open‑Weight‑LLMs über Hugging Face zu. Sie legt großen Wert auf Reproduzierbarkeit, Korrektheit und Erweiterbarkeit und integriert fortschrittliche Funktionen wie Rechenressourcen‑Tracking, deterministische Ergebnisse und distributionale Evaluation.

Durch die nahtlose Integration des Begleitpakets JudgeZoo, das unabhängig verwendet werden kann, schafft AdversariaLLM eine robuste Grundlage für transparente, vergleichbare und reproduzierbare Forschung in der LLM‑Sicherheit. Diese Plattform verspricht, die Forschungsgemeinschaft mit einem einheitlichen, modularen Werkzeug auszustatten, das die Weiterentwicklung sicherer und zuverlässiger Sprachmodelle vorantreibt.