SPARROW: Pixelgenaues Video-MLLM mit verbesserter räumlicher Präzision

Ein neues multimodales Sprachmodell namens SPARROW setzt neue Maßstäbe für die Analyse von Videos auf Pixelebene. Durch die Kombination von Target‑Specific Tracked Features (TSF) und einem dualen Prompt‑Design kann SPARROW sowohl die räumliche Genauigkeit als auch die zeitliche Konsistenz von Referenzen in Video‑Inhalten deutlich verbessern.

Im Gegensatz zu bisherigen Video‑MLLMs, die häufig auf statische Segmentierungstoken zurückgreifen, nutzt SPARROW TSF, um während des Trainings temporär ausgerichtete Referenzsignale einzubinden. Das duale Prompt‑System dekodiert gleichzeitig Box‑ und Segmentierungstoken, wodurch geometrische Vorinformationen mit semantischem Grounding verknüpft werden. Dadurch werden typische Probleme wie räumlicher Drift, Identitätswechsel und instabile Initialisierungen bei sich bewegenden oder wieder auftretenden Objekten vermieden.

SPARROW arbeitet vollständig end‑to‑end ohne externe Detektoren und setzt stattdessen einen class‑agnostic SAM2‑basierten Vorschlager ein. Das Modell wurde auf einem sorgfältig kuratierten Referenz‑Video‑Datensatz mit 30.646 Videos und 45.231 Frage‑Antwort‑Paaren trainiert und anschließend in drei führenden Open‑Source‑Video‑MLLMs – UniPixel, GLUS und VideoGLaMM – integriert.

Die Integration von SPARROW führt zu konsistenten Leistungssteigerungen über sechs Benchmarks hinweg. In der RVOS‑Metrik wird ein Plus von bis zu 8,9 J&F erzielt, bei der visuellen Grounding‑Bewertung steigt der mIoU um 5 Punkte, und auf dem GCG‑Benchmark verbessert sich der CLAIR‑Score um 5,4 Punkte. Diese Ergebnisse demonstrieren, dass SPARROW die Referenzstabilität, räumliche Präzision und zeitliche Kohärenz in der pixel‑grounded Video‑Verständnis deutlich erhöht.

Weitere Informationen und Demo‑Material finden Sie auf der Projektseite: https://risys-lab.github.io/SPARROW.