SaFeR-CLIP: Sicherheit für Vision‑Language‑Modelle ohne Leistungseinbußen

In der Forschung zu Vision‑Language‑Modellen wie CLIP zeigt sich, dass herkömmliche Sicherheitsanpassungen häufig die allgemeine Leistungsfähigkeit stark beeinträchtigen. Der Grund liegt in starren Ausrichtungsstrategien, die unsichere Konzepte zu fest definierten sicheren Zielen zwingen und damit die semantische Struktur des Modells stören.

Um dieses Problem zu lösen, präsentiert die neue Methode SaFeR-CLIP ein proximity‑aware Verfahren. Dabei werden unsichere Inhalte nicht zu einem einzigen sicheren Ziel, sondern zu ihrem semantisch nächsten sicheren Gegenstück umgeleitet. Diese minimalistische Intervention bewahrt die ursprüngliche Repräsentationsgeometrie und reduziert die Veränderung des Modells.

Die Ergebnisse sind beeindruckend: SaFeR-CLIP steigert die Zero‑Shot‑Genauigkeit um bis zu 8 % im Vergleich zu bisherigen Ansätzen, während die Sicherheitsstandards unverändert hoch bleiben. Zusätzlich wird ein neues Benchmark‑Set namens NSFW‑Caps vorgestellt, das 1 000 sorgfältig abgestimmte Paare enthält, um die Sicherheit unter veränderten Verteilungen zu testen.

Diese Arbeit unterstreicht, dass die Beachtung der geometrischen Struktur vortrainierter Modelle entscheidend ist, um Sicherheit zu gewährleisten, ohne die Leistungsfähigkeit zu opfern. SaFeR-CLIP bietet damit einen vielversprechenden Weg, robuste und sichere Vision‑Language‑Modelle zu entwickeln.