Co-EPG: Trainingsframework für Planung & Grounding autonomer GUI-Agenten

Ein neues Trainingsframework namens Co‑EPG wurde vorgestellt, das die Planung und das Grounding von autonomen GUI‑Agenten in einem selbstiterativen Prozess zusammenführt. Durch die gleichzeitige Optimierung beider Komponenten soll die Leistungsfähigkeit der Agenten nachhaltig gesteigert werden.

Co‑EPG nutzt einen positiven Feedback‑Loop, bei dem die Planungsmodelle mithilfe von Group Relative Policy Optimization (GRPO) unter Berücksichtigung von grounding‑basierten Belohnungen bessere Strategien entwickeln. Diese verbesserten Pläne erzeugen vielfältige Daten, die wiederum das Grounding‑Modell optimieren. Das verfeinerte Grounding liefert anschließend präzisere Belohnungen für die nächste GRPO‑Iteration, wodurch der Zyklus kontinuierlich Fortschritte erzielt.

Auf den Benchmarks Multimodal‑Mind2Web und AndroidControl übertrifft Co‑EPG bereits nach nur drei Iterationen die bisherigen State‑of‑the‑Art‑Methoden – und das ohne externe Datensätze. Der Agent verbessert sich mit jeder Runde, was die robuste Selbstverbesserung des Ansatzes unterstreicht.

Dieses Verfahren markiert einen Paradigmenwechsel in der Entwicklung von GUI‑Agenten: Statt isolierter Optimierung wird nun ein integrierter, selbstgesteuerter Co‑Evolutionsprozess etabliert, der die Grenzen der Automatisierung von grafischen Benutzeroberflächen neu definiert.