ActionEngine: Programmatische GUI-Agenten mit Zustandsmaschinen-Speicher

In der Welt der grafischen Benutzeroberflächen (GUI) greifen Agenten bislang auf sequentielle Aufrufe von Vision‑Language‑Modellen zurück: ein Screenshot, eine Analyse, die nächste Aktion, Ausführung und wiederholung. Dieser Ansatz führt zu hohen Kosten, langen Latenzen und einer fehlenden Erinnerung an zuvor besuchte Seiten. ActionEngine löst dieses Problem mit einem völlig neuen, trainingsfreien Konzept, das reaktive Abläufe in programmatische Planung überführt.

Das System besteht aus zwei spezialisierten Agenten. Der Crawling Agent erkundet die GUIs offline und baut dabei eine dynamische Zustandsmaschinen‑Speicherstruktur auf, die sämtliche Seiten und Aktionen erfasst. Der Execution Agent nutzt diesen Speicher, um komplette, ausführbare Python‑Programme zu generieren, die die gewünschten Aufgaben online erledigen. Sollte ein Schritt fehlschlagen, greift ein vision‑basierter Re‑Grounding‑Fallback ein, repariert die Aktion und aktualisiert den Speicher – so bleibt die Interaktion robust gegenüber sich verändernden Interfaces.

Die Ergebnisse sprechen für sich: Auf Reddit‑Aufgaben des WebArena‑Benchmarks erreicht der Agent mit durchschnittlich nur einer LLM‑Aufruf‑Rate 95 % Erfolgsquote, während die stärkste vision‑nur‑Baseline lediglich 66 % erreichte. Gleichzeitig werden Kosten um das 11,8‑fache reduziert und die End‑zu‑End‑Latenz halbiert. ActionEngine kombiniert globale, programmatische Planung, crawler‑validierte Aktionsvorlagen und lokales Validieren sowie Reparieren – ein skalierbarer und zuverlässiger Ansatz für die Interaktion mit komplexen GUIs.