VisualScratchpad: Visuale Konzepte in Vision‑Language‑Modellen analysieren

Vision‑Language‑Modelle liefern zwar beeindruckende Ergebnisse, doch liefern sie häufig falsche Antworten. Die Gründe dafür sind oft schwer nachvollziehbar, weil die internen Abläufe der Modelle nicht transparent sind. Mit VisualScratchpad wird das Problem angegangen: eine interaktive Oberfläche, die es ermöglicht, die visuellen Konzepte, die ein Modell während der Inferenz nutzt, sichtbar zu machen.

Die Technik basiert auf sparsamen Autoencodern, die im Vision‑Encoder eingesetzt werden, um kompakte visuelle Konzepte zu extrahieren. Anschließend werden diese Konzepte über Text‑to‑Image‑Attention mit den Text‑Tokens des Modells verknüpft. Dadurch kann man genau nachverfolgen, welche visuellen Informationen vom Encoder erfasst und vom Sprachmodell verarbeitet werden. Zusätzlich bietet VisualScratchpad eine Token‑Latent‑Heatmap, die zeigt, welche latenten Variablen für eine effektive Konzept‑Ablation erforderlich sind.

Durch mehrere Fallstudien wurden drei bislang wenig untersuchte Fehlerquellen identifiziert: eine eingeschränkte Cross‑Modal‑Alignment, irreführende visuelle Konzepte und versteckte Hinweise, die vom Modell nicht genutzt werden. Diese Erkenntnisse ermöglichen gezieltes Debugging und eine tiefere Analyse der Modellleistung.

VisualScratchpad stellt damit ein leistungsfähiges Werkzeug für Entwickler und Forscher dar, um die Funktionsweise von Vision‑Language‑Modellen besser zu verstehen, Fehler systematisch zu beheben und die Modelle weiter zu verbessern.

Weitere Informationen und die Demo finden Sie auf der Projektseite: VisualScratchpad Project Page.