GazeQwen: Leichtgewichtiges Gaze-Conditioned LLM für Streaming-Video-Analyse

Ein neues Verfahren namens GazeQwen ermöglicht es multimodalen Sprachmodellen, Blickdaten effektiv zu nutzen, um Videoinhalte besser zu verstehen. Durch die Integration von Augenbewegungen in die Modellarchitektur kann das System gezielt auf relevante Bildbereiche fokussieren, ohne die Modellgröße massiv zu erhöhen.

Im Kern steht ein kompakter Gaze‑Resampler, der nur 1 bis 5 Millionen lernbare Parameter benötigt. Er verarbeitet Video‑Features von V‑JEPA 2.1 zusammen mit positionsbasierten Fixationscodierungen und erzeugt additive Residuen. Diese Residuen werden über Forward‑Hooks in ausgewählte Decoder‑Schichten des LLM eingespeist. Optional kann ein zweiter Trainingsschritt mit Low‑Rank‑Adapters (LoRA) die Integration noch enger verknüpfen.

Auf dem StreamGaze‑Benchmark, der zehn Aufgaben umfasst, erreichte GazeQwen 63,9 % Genauigkeit – ein Plus von 16,1 Punkten gegenüber dem gleichen Qwen2.5‑VL‑7B‑Backbone, wenn Blickdaten als visuelle Hinweise verwendet wurden, und 10,5 Punkte mehr als GPT‑4o. Damit ist es das bestbewertete Modell unter allen getesteten Open‑Source‑ und proprietären Systemen. Der komplette Code und die Checkpoints sind auf GitHub verfügbar.