VLMShield: Effizienter Schutz von VLMs vor bösartigen Prompt‑Angriffen

Vision‑Language‑Modelle (VLMs) sind zunehmend Ziel von bösartigen Prompt‑Angriffen, weil die visuelle Integration die Modell‑Alignment schwächt. Die bisher vorhandenen Abwehrmechanismen sind oft zu ressourcenintensiv oder nicht robust genug, um in realen Anwendungen eingesetzt zu werden.

Um diese Schwächen zu beheben, stellen die Forscher das Multimodal Aggregated Feature Extraction (MAFE)-Framework vor. MAFE erweitert CLIP, sodass es lange Texte verarbeiten und multimodale Informationen in ein einheitliches Repräsentationsformat fassen kann. Durch die Analyse der MAFE‑extrahierten Features konnten die Autoren klare Verteilungsmuster zwischen harmlosen und schädlichen Prompten identifizieren.

Auf dieser Entdeckung aufbauend wurde VLMShield entwickelt – ein leichtgewichtiges, plug‑and‑play Sicherheitsdetektor, der bösartige Angriffe effizient erkennt. Umfangreiche Experimente zeigen, dass VLMShield in allen getesteten Dimensionen – Robustheit, Effizienz und Nutzen – die bisherigen Ansätze übertrifft.

Der Quellcode ist frei verfügbar und kann unter https://github.com/pgqihere/VLMShield heruntergeladen werden. Mit VLMShield ebnet die Forschung einen Weg zu sichereren multimodalen KI‑Systemen.