Audio‑Attacken brechen trimodale Modelle – 96 % Erfolgsrate bei hörbaren Störungen

Multimodale Grundmodelle, die Audio, Vision und Sprache kombinieren, erzielen beeindruckende Leistungen bei komplexen Aufgaben, doch ihre Widerstandsfähigkeit gegen gezielte Störungen ist bislang wenig erforscht. In einer neuen Studie wurden realistische, audio‑nur‑basierte Angriffe auf trimodale Audio‑Video‑Sprachmodelle untersucht.

Die Forscher entwickelten sechs unterschiedliche Angriffsziele, die verschiedene Verarbeitungsschritte des Modells anvisieren – von den Audio‑Encoder‑Repräsentationen über die kreuzmodalen Aufmerksamkeitsmechanismen bis hin zu versteckten Zuständen und den endgültigen Ausgabewahrscheinlichkeiten. Auf drei hochmodernen Modellen und mehreren Benchmarks konnten sie zeigen, dass reine Audio‑Störungen zu gravierenden Fehlfunktionen führen, mit einer Erfolgsrate von bis zu 96 %.

Besonders bemerkenswert ist, dass die Angriffe bereits bei sehr geringen wahrnehmbaren Verzerrungen (LPIPS ≤ 0,08, SI‑SNR ≥ 0) erfolgreich sind und sich durch längere Optimierung stärker auswirken als durch mehr Trainingsdaten. Die Übertragbarkeit zwischen Modellen und Encodern bleibt jedoch begrenzt. Bei Sprach­erkennungssystemen wie Whisper dominieren die Störungs­größen, die bei schweren Verzerrungen eine Erfolgsrate von über 97 % erreichen.

Die Ergebnisse legen ein bislang übersehenes Angriffssurface einer einzelnen Modalität in multimodalen Systemen offen und unterstreichen die Notwendigkeit von Verteidigungsstrategien, die die Konsistenz zwischen den Modalitäten erzwingen.