Neues Lernverfahren steigert GUI‑Automatisierung bei langen Aufgaben
Die rasante Entwicklung großer Vision‑Language‑Modelle (VLM) hat die Forschung zu GUI‑Agenten stark vorangetrieben. Trotz dieser Fortschritte kämpfen GUI‑Agenten noch immer mit Aufgaben, die über lange Zeiträume laufen. Ein zentrales Problem ist die Schwierigkeit, hochrangige Planungsfähigkeiten mit detaillierten Ausführungsfähigkeiten zu verbinden, was zu Verantwortlichkeits‑ und Fähigkeitskonflikten führt. Zudem fehlt den Agenten oft ein klares Bewusstsein für den aktuellen Aufgabenstatus, was bei komplexen Abläufen zu Fortschrittsverlusten führt.
Um diese Herausforderungen zu adressieren, wurde ein stufenweises, ausführungsgesteuertes Reinforcement‑Learning‑Verfahren entwickelt. Anstatt ein einziges, umfassendes Policy‑Modell zu trainieren, konzentriert sich die Methode auf die Ausbildung von hochrangigen Scheduling‑Modellen. Dabei werden zwei spezialisierte Agenten eingesetzt: ein Coordinator, der die strategische Planung und Aufgabenteilung übernimmt, und ein State Tracker, der Kontext komprimiert und die Aufgabenzustände verwaltet, um Kohärenz zu gewährleisten.
Auf Basis dieser Idee entstand das Coordinator‑Executor‑State‑Tracker (CES) Multi‑Agent‑Framework. CES lässt sich mit jedem vorhandenen Executor‑Modell kombinieren und unterstützt diesen bei der Lösung langwieriger Aufgaben durch effektive Aufgabenplanung und Zustandsverwaltung. Experimente an Benchmarks für lange Aufgaben zeigen, dass CES die Planungs- und Zustandsmanagementfähigkeiten des Gesamtsystems deutlich verbessert. Darüber hinaus demonstrieren Analysen, dass das trainierte Scheduling‑Modul generisch und plug‑and‑play einsetzbar ist und die Langzeitfähigkeiten verschiedener Executor‑Modelle signifikant steigert.
Der Code für das CES‑Framework ist öffentlich zugänglich und kann auf GitHub abgerufen werden. Diese Entwicklung markiert einen wichtigen Schritt hin zu robusteren, skalierbaren GUI‑Automatisierungslösungen, die auch komplexe, mehrstufige Aufgaben zuverlässig bewältigen können.