OVOD-Agent: Proaktive Visual Reasoning & Selbstlernende Erkennung mit Markov-Bandit

Die neue Methode OVOD‑Agent setzt neue Maßstäbe für die Open‑Vocabulary Object Detection (OVOD). Ziel ist es, Objekterkennungsmodelle so zu erweitern, dass sie über fest definierte Kategorien hinaus generalisieren können, indem sie semantische Informationen nutzen.

Aktuelle Ansätze werden zwar mit großen Vision‑Language‑Datensätzen vortrainiert, bleiben jedoch bei der Inferenz auf eine feste Liste von Klassennamen beschränkt. Durch die Verbesserung der Textrepräsentation lässt sich die Leistung von OVOD deutlich steigern – ein Bereich, der bislang noch unzureichend erforscht ist.

OVOD‑Agent wandelt das passive Abgleichen von Kategorien in proaktives visuelles Denken und selbstentwickelnde Erkennung um. Inspiriert vom Chain‑of‑Thought‑Paradigma wird der Optimierungsprozess in einen interpretierbaren Visual‑CoT mit expliziten Aktionen überführt. Da das Modell leichtgewichtig ist, eignet sich kein LLM‑basierter Ansatz; stattdessen modelliert es die Übergänge im visuellen Kontext als Weakly Markovian Decision Process (w‑MDP) über acht Zustandsräume, die Zustand, Gedächtnis und Interaktionsdynamik abbilden.

Ein Bandit‑Modul erzeugt unter eingeschränkter Supervision explorative Signale, die dem Agenten helfen, unsichere Regionen gezielt zu untersuchen und die Erkennungsstrategie anzupassen. Durch die Kombination von Markov‑Übergangsmatrizen mit Bandit‑Trajektorien wird ein selbstüberwachtes Reward‑Model optimiert, wodurch ein geschlossener Lern‑ und Anpassungszyklus entsteht.

Experimentelle Ergebnisse auf COCO und LVIS zeigen, dass OVOD‑Agent konsistente Verbesserungen über verschiedene OVOD‑Backbones hinweg erzielt – besonders bei seltenen Kategorien. Die Kombination aus proaktivem Denken, Markov‑Bandit‑Optimierung und selbstlernender Anpassung eröffnet neue Perspektiven für robuste, offene Objekterkennung.