Neues Framework verbessert GUI-Agenten durch historisches Denken

Mit den jüngsten Fortschritten multimodaler Large Language Models hat die Automatisierung von grafischen Benutzeroberflächen (GUI) einen bedeutenden Sprung gemacht. Um jedoch die Lücke zwischen knappen Nutzeranweisungen und der Komplexität echter Abläufe zu schließen, ist es entscheidend, dass GUI-Agenten über verlässliche episodische Denkfähigkeiten verfügen.

Derzeit kombinieren viele Ansätze Reinforcement Learning (RL) mit System‑2 Chain‑of‑Thought, was die Rechenleistung deutlich steigert. Bei Aufgaben mit langen Zeithorizonten verknüpfen historische Interaktionen jeden Bildschirm mit einer zielgerichteten Episodenkette. Das effektive Nutzen dieser Hinweise ist jedoch für die aktuelle Entscheidungsfindung unerlässlich. Viele native GUI-Agenten besitzen dagegen nur eine schwache Kurzzeit‑Speicherkapazität und behandeln die verknüpften Interaktionen als isolierte Bildschirmanalysen – sie sind sich der Geschichte innerhalb einer Episode nicht bewusst. Dieses fehlende historische Bewusstsein beeinträchtigt die Leistung erheblich.

Um dieses Problem zu lösen, wurde das History‑Aware Reasoning (HAR) Framework entwickelt. Es ermutigt Agenten, aus eigenen Fehlern zu lernen und episodisches Wissen gezielt zu erwerben. Das Framework besteht aus drei Kernkomponenten: einer reflektierenden Lernumgebung, maßgeschneiderten Korrekturleitfäden und einer hybriden RL‑Belohnungsfunktion. Durch diese Kombination wird die Kurzzeit‑Speicherfähigkeit bei langen Interaktionen nachhaltig verbessert.

Im Rahmen des HAR Frameworks wurde das native End‑to‑End-Modell HAR‑GUI‑3B vorgestellt. Dieses Modell wandelt die bisherige, historienunabhängige Denkweise in eine historisch bewusste um und statten GUI-Agenten mit einer robusten Kurzzeit‑Speicher‑ und Reflexionsfähigkeit aus. Damit eröffnet HAR‑GUI‑3B neue Möglichkeiten für die effiziente Automatisierung komplexer GUI‑Aufgaben.