PG-Agent: Neuer GUI-Agent nutzt Seitengraphen für bessere Generalisierung

Graphical User Interface (GUI)-Agenten, die auf fortschrittlichen multimodalen großen Sprachmodellen (MLLMs) basieren, zeigen enormes kommerzielles und gesellschaftliches Potenzial. Trotz ihrer Leistungsfähigkeit stoßen aktuelle Agenten an Grenzen, wenn es darum geht, komplexe Übergänge zwischen Webseiten zu erfassen und sich auf neue Szenarien anzupassen.

Der Hauptnachteil liegt darin, dass bestehende GUI-Agenten ihre Kenntnisse aus sequentiellen Episoden von mehrstufigen Operationen ableiten. Diese lineare Darstellung vernachlässigt die natürlichen Verbindungen und Wechselwirkungen zwischen Seiten, was die tiefere Wahrnehmung der GUI-Umgebung erschwert und die Generalisierungsfähigkeit einschränkt.

Um dieses Problem zu lösen, wurde eine automatisierte Pipeline entwickelt, die sequentielle Episoden in Seitengraphen umwandelt. Diese Graphen modellieren explizit die Struktur der Seiten und deren Verbindungen durch Aktionen. Zusätzlich wird Retrieval-Augmented Generation (RAG) eingesetzt, um verlässliche Wahrnehmungsrichtlinien aus den Graphen abzurufen. Auf Basis dieser Richtlinien wurde das maßgeschneiderte Multi-Agenten-Framework PG-Agent mit einer Aufgabenzerlegungsstrategie konzipiert, das in der Lage ist, sich auf unbekannte Szenarien zu übertragen.

Umfangreiche Experimente an verschiedenen Benchmarks haben die Wirksamkeit von PG-Agent bestätigt. Besonders beeindruckend ist die Leistung bei begrenzten Episoden zur Konstruktion der Seitengraphen, was die Robustheit und Effizienz des Ansatzes unterstreicht.