Neuer Schutz für vortrainierte Encoder gegen Adversarial Angriffe

Die breite Nutzung von öffentlich verfügbaren, vortrainierten Encodern aus dem Bereich des selbstüberwachten Lernens hat eine kritische Schwachstelle offenbart: Sie sind anfällig für sogenannte downstream‑agnostische Adversarial‑Beispiele (DAEs). Diese Angriffe werden ohne Kenntnis der spezifischen Downstream‑Aufgabe erzeugt, können aber sämtliche nachgelagerten Modelle täuschen.

Aktuelle Verteidigungsansätze beruhen überwiegend auf task‑spezifischem adversarialem Fein‑Tuning. Das führt zu eingeschränkter Generalisierbarkeit, katastrophalem Vergessen und einer Verschlechterung der normalen Leistung. Diese Mängel machen die praktische Anwendung solcher Methoden schwierig.

Mit dem neuen Ansatz „Zero‑Sacrifice Persistent‑Robustness Adversarial Defense“ (ZePAD) wird ein ganz anderer Schutzmechanismus vorgestellt. ZePAD nutzt eine Dual‑Branch‑Architektur: Der Multi‑Pattern Adversarial Enhancement Branch (MPAE‑Branch) setzt zwei adversarial fein‑getunte Encoder ein, um die Widerstandsfähigkeit zu erhöhen. Parallel dazu sorgt der Benign Memory Preservation Branch (BMP‑Branch) dafür, dass die robuste Leistung die normale Performance nicht beeinträchtigt. Besonders bemerkenswert ist, dass ZePAD DAEs bereits durch die Bewertung der Branch‑Konfidenz erkennen kann, ohne dass ein spezielles Identifikations‑Task trainiert werden muss.

Durch die Kombination von erhöhter Feature‑Diversität und einer einzigen Fein‑Tuning‑Phase für verschiedenste Downstream‑Aufgaben bietet ZePAD einen robusten, generalisierbaren und gleichzeitig leistungsstarken Schutz. Dieser Fortschritt eröffnet neue Möglichkeiten für die sichere Integration vortrainierter Encoder in produktive Systeme.