OpenSec: Neue Benchmark für Incident-Response-Agenten unter Angriffsszenarien

Mit dem rasanten Fortschritt großer Sprachmodelle steigen auch deren Einsatzmöglichkeiten im Angriffsszenario. Während neue Agenten in weniger als 50 Computing‑Einheiten funktionierende Exploits generieren können, müssen defensive Incident‑Response‑Agenten (IR) Schritt halten. Aktuelle Benchmarks vermischen jedoch die Ausführung von Aktionen mit deren korrekten Ausführung, wodurch Kalibrierungsfehler bei der Verarbeitung von feindlichem Beweismaterial verborgen bleiben.

OpenSec ist ein neu entwickeltes, dual‑Control‑Reinforcement‑Learning‑Umfeld, das IR‑Agenten unter realistischen Prompt‑Injection‑Szenarien testet. Im Gegensatz zu statischen Fähigkeitsbenchmarks bewertet OpenSec weltverändernde Containment‑Aktionen anhand von ausführungsgesteuerten Metriken: Time‑to‑First‑Containment (TTFC), Blast‑Radius (Falsch‑Positive‑Rate pro Episode) und Injection‑Violation‑Rates. Diese Kennzahlen zeigen deutlich, ob ein Agent in der Lage ist, Angriffe zu stoppen, ohne dabei unnötige Fehlalarme auszulösen.

Bei einer Evaluation von vier führenden Modellen über 40 Standard‑Episodes zeigte OpenSec, dass GPT‑5.2, Gemini 3 und DeepSeek in 100 % der Fälle Containment ausführen, jedoch mit 90 – 97 % Falsch‑Positive‑Raten. Claude Sonnet 4.5 zeigte eine teilweise Kalibrierung: 85 % Containment bei 72 % Falsch‑Positive. Diese Ergebnisse verdeutlichen, dass herkömmliche Erfolgsmessungen die Kalibrierungsprobleme verbergen, während OpenSec sie ans Licht bringt.

Der Open‑Source‑Code von OpenSec ist auf GitHub verfügbar und bietet Forschern sowie Praktikern ein robustes Werkzeug, um die Leistungsfähigkeit von Incident‑Response‑Agenten unter Angriffsszenarien realistisch zu bewerten.