ResAgent: Entropie- und bildbasierte Methode für Referenzsegmentierung

Die Referenzsegmentierung (RES) verbindet Bild- und Sprachverarbeitung, um Objekte anhand freier sprachlicher Beschreibungen exakt zu markieren. Sie ist entscheidend für Anwendungen wie Mensch‑Roboter‑Interaktion und Augmented Reality.

Trotz Fortschritten bei multimodalen großen Sprachmodellen bleiben zwei Probleme bestehen: die von MLLMs gelieferten groben Begrenzungsrahmen führen zu redundanten oder wenig unterscheidbaren Punktanweisungen, und die bisherige Abhängigkeit von textbasierten Koordinaten erschwert die Unterscheidung von ähnlich aussehenden Ablenkern.

ResAgent löst diese Schwächen mit einem zweistufigen Ansatz. Zunächst identifiziert die Entropie‑basierte Punktentdeckung (EBD) innerhalb der groben Boxen die Punkte mit höchster Informationsgehalt, indem sie die räumliche Unsicherheit maximiert. Anschließend prüft die bildbasierte Logik (VBR) die Richtigkeit dieser Punkte durch eine gemeinsame visuell‑semantische Ausrichtung, wodurch textbasierte Koordinatenvergleiche überflüssig werden. Der komplette Ablauf besteht aus Boxinitialisierung, entropiegeleiteter Punktfindung, bildbasierter Validierung und Masken‑Decodierung.

Auf vier führenden Datensätzen – RefCOCO, RefCOCO+, RefCOCOg und ReasonSeg – erzielt ResAgent neue Spitzenwerte und bestätigt damit die Wirksamkeit des kombinierten Entropie‑ und Bildansatzes für die Referenzsegmentierung.