Neues MLLM-Framework ermöglicht autonome GUI-Navigation ohne hohe Datenkosten

Durch die jüngsten Fortschritte multimodaler Large Language Models (MLLMs) haben autonome Agenten für grafische Benutzeroberflächen (GUI) erheblich an Leistungsfähigkeit gewonnen. In der Praxis stoßen diese Agenten jedoch häufig auf nicht-stationäre Umgebungen, was die Kosten für Datensammlung und Policy‑Optimierung stark erhöht.

Um diesem Problem zu begegnen, stellt der neue Ansatz ein MLLM‑zentriertes Framework vor, das aus zwei Kernkomponenten besteht: der Agentic‑Q‑Schätzung und der schrittweisen Policy‑Optimierung. Die Agentic‑Q‑Schätzung optimiert ein Q‑Modell, das schrittweise Werte liefert, um den Beitrag einzelner Aktionen zur Aufgabenerfüllung zu bewerten.

Die schrittweise Policy‑Optimierung nutzt dabei Stichproben aus den von der Policy selbst erzeugten Zustands‑Aktions‑Trajektorien. Durch die Kombination mit dem Agentic‑Q‑Modell wird die Policy mittels Reinforcement Learning aktualisiert. Dabei entstehen keine zusätzlichen Datenkosten, da alle Trajektorien intern generiert werden, und die Policy‑Updates sind von der Umgebung entkoppelt, was stabile und effiziente Optimierungen ermöglicht.

Experimentelle Tests zeigen, dass das Framework dem Modell Ovis2.5‑9B beeindruckende GUI‑Interaktionsfähigkeiten verleiht. Es erzielt herausragende Ergebnisse bei GUI‑Navigation und Grounding‑Benchmarks und übertrifft sogar Konkurrenten mit deutlich größerer Modellgröße.