V-Agent: Interaktives Videosuchsystem mit Vision‑Language-Modellen

V-Agent ist eine neuartige Multi‑Agent-Plattform, die fortschrittliche Videosuche mit interaktiven Gesprächen zwischen Nutzer und System kombiniert. Durch die Feinabstimmung eines Vision‑Language‑Modells (VLM) auf einem kleinen Datensatz von Videopräferenzen und die Ergänzung um einen Retrieval‑Vektor aus einem Bild‑Text‑Retrieval‑Modell überwindet V-Agent die Schwächen herkömmlicher textbasierter Suchsysteme in multimodalen Szenarien.

Das VLM‑basierte Retrieval‑Modell verarbeitet dabei eigenständig Video‑Frames und Audio‑Transkriptionen aus einem automatischen Spracherkennungssystem (ASR) und platziert sie in einem gemeinsamen multimodalen Repräsentationsraum. Dadurch kann V-Agent sowohl visuelle als auch gesprochene Inhalte verstehen und kontextbewusste Suchergebnisse liefern.

Die Plattform besteht aus drei Agenten – einem Routing‑Agenten, einem Such‑Agenten und einem Chat‑Agenten – die zusammenarbeiten, um Nutzerintentionen zu erkennen, Suchergebnisse zu verfeinern und mit dem Nutzer zu kommunizieren. Der Such‑Agent nutzt das VLM‑basierte Retrieval‑Modell zusätzlich mit einem Re‑Ranking‑Modul, um die Qualität der Video‑Retrievals weiter zu steigern.

In Tests erzielt V-Agent eine führende Zero‑Shot‑Leistung auf dem MultiVENT 2.0‑Benchmark und zeigt damit großes Potenzial für akademische Forschung sowie praktische Anwendungen in der realen Welt.