Neue Technik senkt Adversarial-Illusionen in multimodalen Modellen auf Null

Multimodale Basismodelle, die Bilder, Texte und weitere Modalitäten in einem gemeinsamen Einbettungsraum abbilden, sind anfällig für sogenannte Adversarial‑Illusionen. Dabei führen kaum sichtbare Störungen zu einer Fehlanpassung der Cross‑Modal‑Alignment‑Funktionen und täuschen nachgelagerte Aufgaben. Um diesem Problem entgegenzuwirken, wurde ein Aufgaben‑agnostischer Abwehrmechanismus entwickelt, der die vom Angreifer veränderten Eingaben mithilfe generativer Modelle – etwa Variational Autoencoders – rekonstruiert und dadurch die natürliche Ausrichtung wiederherstellt.

Der Ansatz kombiniert eine generative Stichprobenstrategie mit einer konsensbasierten Aggregationsmethode über die erzeugten Samples. In umfangreichen Tests an führenden multimodalen Encodern konnte gezeigt werden, dass die Angriffserfolgsraten nahezu auf Null reduziert werden. Gleichzeitig verbessert sich die Cross‑Modal‑Alignment um 4 % (von 42 % auf 46 %) bei ungestörten Eingaben und um 11 % (von 32 % auf 43 %) bei gestörten Eingaben. Damit bietet die Methode einen effektiven, modellunabhängigen Schutz gegen Adversarial‑Illusionen.