Neue Methode steigert visuelles Reasoning durch gezielte Adversarial-Entropy-Intervention

In der aktuellen Forschung wird verstärkt auf Reinforcement Learning (RL) zurückgegriffen, um die Denkfähigkeiten von Vision‑Language‑Modellen (VLMs) zu verbessern. Dabei spielt die Steuerung der Entropie eine entscheidende Rolle, denn sie fördert die explorative Kraft des Modells und steigert die Qualität der erlernten Politik.

Traditionelle Ansätze beschränken sich jedoch meist darauf, die Entropie lediglich während der Policy‑Optimierung zu regulieren. Sie vernachlässigen die Möglichkeit, die Entropie bereits im RL‑Sampling zu beeinflussen – ein Schritt, der die Vielfalt der generierten Antworten deutlich erhöhen kann.

Die neue Technik, genannt Selective‑Adversarial Entropy Intervention (SaEI), adressiert dieses Problem gezielt. Zunächst wird die Entropie der während des Samplings erzeugten Antworten als adversarialer Zielwert genutzt – ein Verfahren, das als Entropy‑Guided Adversarial Sampling (EgAS) bezeichnet wird. Der daraus resultierende Gradient wird anschließend verwendet, um die visuelle Eingabe zu manipulieren und so adversariale Beispiele zu erzeugen. Dadurch kann das Modell einen breiteren Antwortraum erkunden.

Um sicherzustellen, dass die Attacken nicht die Faktenbasis des VLMs zerstören, kommt ein Token‑Selective Entropy Computation (TsEC) zum Einsatz. Dieses Verfahren maximiert die Wirksamkeit der adversarialen Manipulationen, während es gleichzeitig die Integrität der vorhandenen Wissensrepräsentationen wahrt.

Umfangreiche Experimente auf in‑ und out‑of‑Domain‑Datensätzen zeigen, dass SaEI die Policy‑Exploration signifikant verbessert und die Gesamtkapazität des Modells im visuellen Reasoning deutlich steigert. Die Ergebnisse deuten darauf hin, dass gezielte Entropie‑Intervention ein vielversprechender Ansatz für die Weiterentwicklung von VLMs darstellt.