Textbasierte Angriffe auf multimodale Modelle: Neue Studie zeigt Wirkung
Eine neue Untersuchung von Forschern auf arXiv (Arbeitstitel: „Lost in Modality“) beleuchtet, wie effektiv textbasierte Membership‑Inference‑Attacks (MIAs) gegen große multimodale Sprachmodelle (MLLMs) sind. Die Studie testet die gängigen Log‑Probability‑Methoden, die bislang vor allem bei reinen Sprachmodellen eingesetzt wurden, nun aber auf Modelle mit Bild‑ und Text‑Input angewendet. In den Experimenten mit den Modellen DeepSeek‑VL und InternVL – sowohl in Vision‑und‑Text‑ als auch in reiner Text‑Konfiguration – zeigen die Ergebnisse, dass die MIAs in‑Distribution nahezu gleich gut funktionieren, wobei multimodale Varianten einen leichten Vorteil aufweisen. Interessanterweise wirken sich Bilddaten im Out‑of‑Distribution‑Fall als Regulierungsfaktor aus und verbergen die Membership‑Signale, was die Sicherheit multimodaler Systeme erhöht.
