MLLMs gegen visuelle Täuschungen: Adversarial Training stärkt Robustheit

Ein brandneues Forschungsdokument aus dem Bereich der multimodalen großen Sprachmodelle (MLLMs) zeigt, wie man die Wahrnehmungsstabilität dieser Systeme massiv verbessern kann. Trotz ihrer beeindruckenden Fähigkeiten sind MLLMs bei komplexen visuellen Szenen oft empfindlich, weil sie auf begrenzten Trainingsdatensätzen basieren, die teuer zu erweitern sind und die Robustheit begrenzen.

Um diesem Problem entgegenzuwirken, stellen die Autoren das Projekt AOT‑SFT vor – ein umfangreiches adversariales Datenset, das speziell dafür entwickelt wurde, MLLMs robuster zu machen. Aufbauend auf dieser Basis schlagen sie das Konzept AOT (Adversarial Opponent Training) vor, ein selbstspielendes Lernframework, bei dem das Modell seine eigene Trainingsumgebung generiert.

Der Kern von AOT ist die kooperative Evolution zwischen einem Bildbearbeitungs-Angreifer und einem verteidigenden MLLM. Der Angreifer erzeugt kontinuierlich vielfältige Bildmanipulationen, die dem Verteidiger als dynamisches Curriculum dienen. Durch diese ständige Herausforderung passt sich das Modell an und verbessert seine Wahrnehmungsfähigkeiten, während gleichzeitig die Häufigkeit von Halluzinationen reduziert wird.

Umfangreiche Experimente belegen, dass AOT die perceptuelle Robustheit der Verteidiger deutlich steigert und die Zuverlässigkeit von MLLMs erhöht. Das vorgestellte Paradigma bietet damit einen skalierbaren Ansatz, um künftig noch zuverlässigere multimodale Sprachmodelle zu entwickeln.