MAGNET: Adaptive GUI-Agenten mit speicherbasierter Wissensentwicklung

Ein neues Forschungsprojekt namens MAGNET bringt Mobile GUI-Agenten auf ein neues Level. Durch den Einsatz großer Foundation‑Modelle können diese Agenten Aufgaben selbstständig ausführen – doch häufige UI‑Updates und Workflow‑Umgestaltungen stellen sie vor große Herausforderungen.

Der Kern des Problems liegt darin, dass sich die Oberfläche oft ändert, während die zugrunde liegenden Funktionssemantiken und Aufgabenintentionen weitgehend unverändert bleiben. MAGNET nutzt diese Stabilität aus und führt ein zweistufiges Speicher‑Framework ein: ein stationäres Gedächtnis verbindet vielfältige visuelle Merkmale mit stabilen funktionalen Semantiken, während ein prozedurales Gedächtnis die konstanten Aufgabenintentionen über verschiedene Workflows hinweg erfasst.

Ein dynamischer Speicher‑Evolutionsmechanismus verfeinert kontinuierlich beide Speicher, indem häufig genutztes Wissen priorisiert wird. Auf dem Online‑Benchmark AndroidWorld zeigen die Ergebnisse signifikante Verbesserungen gegenüber Standard‑Baselines, während Offline‑Tests die Konsistenz der Leistungssteigerung auch unter veränderten Verteilungen bestätigen.

Diese Erkenntnisse unterstreichen, dass die Nutzung stabiler Strukturen bei sich wandelnden Software‑Umgebungen die Leistung und Generalisierbarkeit von GUI‑Agenten deutlich steigert. MAGNET markiert damit einen wichtigen Schritt in Richtung adaptiver, speicherbasierter KI‑Agenten für mobile Oberflächen.