Auto-Explorer: Automatisierte Datensammlung für GUI-Agenten

Neueste Fortschritte bei GUI-Agenten haben deren Fähigkeit, natürliche Sprachbefehle zur Steuerung von Softwareoberflächen zu verstehen, stark erweitert. Dennoch bleibt die Beschaffung von GUI-Daten ein zentrales Problem. Traditionelle Ansätze bauen auf automatisierten Agenten, die URLs aus dem Common Crawl durchsuchen und HTML‑Seiten nutzen, um Screenshots sowie zugehörige Annotationen – etwa Namen und Begrenzungsrahmen von UI‑Elementen – zu erfassen. Diese Methode funktioniert jedoch nicht zuverlässig für Desktop‑Software oder neu gestartete Webseiten, die nicht im Common Crawl enthalten sind.

Um diesem Defizit entgegenzuwirken, wurde Auto‑Explorer entwickelt – ein automatisiertes Datensammlungsverfahren, das mit minimalem Annotationsaufwand arbeitet. Der Agent nutzt eine einfache, aber effektive Erkundungsstrategie, um GUI‑Umgebungen eigenständig zu parsen und zu erkunden. Dabei werden Daten effizient gesammelt, ohne dass umfangreiche manuelle Beschriftungen erforderlich sind.

Zur Bewertung der Erkundungsqualität wurde das UIXplore‑Benchmark erstellt. Dieses Benchmark‑Set bietet speziell gestaltete Umgebungen, in denen Explorer‑Agenten Softwarezustände entdecken und speichern können. Die gesammelten Daten dienen anschließend dazu, ein multimodales Large‑Language‑Model (MLLM) zu verfeinern und ein Testset für die Grounding‑Bewertung von GUI‑Elementen aufzubauen.

Experimentelle Ergebnisse zeigen, dass Auto‑Explorer die Leistungsfähigkeit eines MLLM deutlich steigert. Der Ansatz ermöglicht eine schnelle und präzise Anpassung an neue Software oder Webseiten, was insbesondere für personalisierte Anwendungsfälle von großer Bedeutung ist.