Omni‑Safety: Studie enthüllt Schwachstellen und Lösungen für multimodale KI

Eine neue Untersuchung aus dem Bereich der künstlichen Intelligenz hat die Sicherheitslücken von Omni‑modalen großen Sprachmodellen (OLLMs) aufgedeckt. Durch die Einführung eines Modality‑Semantics‑Decoupling‑Prinzipes und die Erstellung des AdvBench‑Omni‑Datensatzes konnten Forscher signifikante Schwachstellen identifizieren, die bislang unbemerkt blieben.

Die Analyse der Mechanismen zeigte ein Phänomen namens „Mid‑layer Dissolution“, bei dem die Größe des Ablehnungsvektors abnimmt. Gleichzeitig existiert eine modal‑unabhängige reine Ablehnungsrichtung, die das Modell dazu bringt, gefährliche Eingaben zu blockieren. Diese Erkenntnisse bilden die Basis für die Entwicklung von OmniSteer.

OmniSteer nutzt leichte Adapter, um die Intensität der Intervention adaptiv zu steuern. Durch die Extraktion eines „goldenen“ Ablehnungsvektors mittels Singular Value Decomposition konnte die Erfolgsrate bei der Ablehnung schädlicher Inhalte von 69,9 % auf beeindruckende 91,2 % gesteigert werden – ohne die allgemeinen Fähigkeiten des Modells in allen Modalitäten zu beeinträchtigen.

Die Ergebnisse zeigen, dass gezielte Sicherheitsmaßnahmen in multimodalen KI-Systemen nicht nur möglich, sondern auch effizient umsetzbar sind. Der zugehörige Code ist öffentlich zugänglich und ermöglicht Forschern, die vorgestellten Techniken weiter zu erforschen und zu verbessern.