Adaptive Meilenstein‑Belohnung verbessert GUI-Agenten um 10 %

Reinforcement Learning (RL) hat sich als Standardverfahren für die Schulung von mobilen GUI‑Agenten etabliert, stößt jedoch bei Aufgaben mit langen Zeithorizonten auf das klassische Problem der zeitlichen Kreditzuweisung. Hierbei besteht ein Spannungsfeld zwischen der Genauigkeit der Belohnung und ihrer Dichte: Ergebnis‑Belohnungen liefern hohe Präzision, sind aber selten, während Prozess‑Belohnungen häufigere Signale bieten, aber anfällig für Verzerrungen und Belohnungs‑Hacking sind.

Um dieses Dilemma zu lösen, stellt die neue Methode Adaptive Milestone Reward (ADMIRE) vor, die ein überprüfbares, adaptives Belohnungssystem aufbaut. Dabei werden Meilensteine – dynamisch aus erfolgreichen Erkundungen extrahiert – als Ankerpunkte für die Trajektorie genutzt. ADMIRE kombiniert eine asymmetrische Kreditzuweisung, die erfolgreiche Pfade von Rauschen befreit, mit einer Stützfunktion für fehlgeschlagene Pfade, wodurch die Lernkurve gezielt verbessert wird.

Umfangreiche Experimente auf der Plattform AndroidWorld zeigen, dass ADMIRE die Erfolgsrate um mehr als zehn Prozentpunkte steigert, unabhängig vom zugrunde liegenden Modell. Darüber hinaus demonstriert die Methode eine robuste Generalisierbarkeit: Sie erzielt starke Ergebnisse über verschiedene RL‑Algorithmen hinweg und funktioniert gleichermaßen in heterogenen Umgebungen wie Web‑Navigation und körperbasierten Aufgaben.