GUI‑Eyes: Aktive visuelle Wahrnehmung steigert GUI‑Agenten um 44,8 % Genauigkeit

In der Welt der grafischen Benutzeroberflächen (GUI) haben Fortschritte in Vision‑Language‑Modellen (VLMs) und Reinforcement Learning (RL) die Automatisierung von GUIs vorangetrieben. Dennoch basieren die meisten bestehenden Ansätze auf statischen, einmaligen Bildaufnahmen und einer passiven Wahrnehmung, wodurch sie nicht in der Lage sind, selbstständig zu entscheiden, wann, ob und wie sie die Oberfläche beobachten.

Das neue Framework GUI‑Eyes löst dieses Problem, indem es einen aktiven visuellen Wahrnehmungsprozess in GUI‑Aufgaben integriert. Der Agent lernt, strategisch zu entscheiden, ob und wie er visuelle Werkzeuge wie Zuschneiden oder Zoomen einsetzt. Dabei wird ein zweistufiger Denkprozess angewendet: zunächst erfolgt eine grobe Erkundung, anschließend eine feine Ausrichtung auf die Zielregion. Diese Vorgehensweise wird von einer zweistufigen Politik koordiniert.

Zur Unterstützung dieser Strategie wurde eine räumlich kontinuierliche Belohnungsfunktion entwickelt, die sowohl die Nähe zum Zielort als auch die Überlappung mit der gewünschten Region berücksichtigt. Dadurch erhält der Agent dichte Rückmeldungen und die häufig auftretende Belohnungssparsheit in GUI‑Umgebungen wird reduziert. Auf dem ScreenSpot‑Pro Benchmark erzielt GUI‑Eyes‑3B mit nur 3.000 gelabelten Beispielen eine Grounding‑Genauigkeit von 44,8 % – deutlich besser als herkömmliche überwachte und RL‑basierte Baselines.

Diese Ergebnisse zeigen, dass tool‑bewusste aktive Wahrnehmung, unterstützt durch gestaffelte Politikentscheidungen und feinkörniges Belohnungsfeedback, entscheidend für die Entwicklung robuster und daten-effizienter GUI‑Agenten ist.