VISTA-Gym: Skalierbares Training für Tool‑Reasoning in Vision‑Language‑Modellen

Vision‑Language‑Modelle (VLMs) verstehen Bilder bereits sehr gut, aber ihre Fähigkeit, komplexe visuelle Aufgaben Schritt für Schritt zu lösen, ist noch begrenzt. Mit VISTA‑Gym wird ein neues, skalierbares Trainingsumfeld vorgestellt, das VLMs dazu anregt, Bild‑Tools wie Grounding oder Parsing gezielt einzusetzen und dabei agentenbasierte Entscheidungsprozesse zu entwickeln.

VISTA‑Gym vereint sieben unterschiedliche multimodale Aufgaben aus 13 Datensätzen unter einer einheitlichen Schnittstelle. Durch wiederholbare Interaktionsschleifen, überprüfbare Feedbacksignale und effizientes Trajektorien‑Logging können Forscher nun große Mengen an Bild‑Tool‑Interaktionen sammeln und daraus Reinforcement‑Learning‑Modelle trainieren.

Im Rahmen dieser Arbeit wurde das Modell VISTA‑R1 mit 8 Billionen Parametern entwickelt. Es nutzt Multi‑Turn‑Sampling und end‑to‑end Reinforcement Learning, um Tool‑Auswahl, Aufruf und Koordination zu optimieren. Auf elf öffentlichen VQA‑Benchmarks übertraf VISTA‑R1‑8B die besten Konkurrenzmodelle mit ähnlicher Größe um 9,5 % bis 18,7 % und demonstriert damit, dass VISTA‑Gym ein effektives Trainingsfeld für tool‑integriertes Reasoning in VLMs ist.