UI‑Oceanus: GUI-Agenten skalieren durch synthetische Umweltmodelle

Die neue Methode UI‑Oceanus löst ein langjähriges Problem bei der Skalierung von GUI‑Agenten: die Abhängigkeit von teuren menschlichen Demonstrationen und der „Distillation‑Decke“ synthetischer Lehrkräfte. Statt lediglich die hochrangigen Trajektorien zu imitieren, konzentriert sich das Framework auf die Beherrschung der Interaktionsphysik, indem es echte Umwelt‑Feedback‑Signale nutzt.

Durch eine systematische Untersuchung selbstüberwachender Ziele hat das Team herausgefunden, dass die Vorhersage zukünftiger Interface‑Zustände – die sogenannte Forward‑Dynamics – der entscheidende Treiber für die Skalierbarkeit ist und die inverse Inferenz deutlich übertrifft. UI‑Oceanus nutzt dieses Wissen, indem es kostengünstige autonome Erkundungen, die direkt durch Systemausführung verifiziert werden, in hochdichte generative Supervision umwandelt und damit ein robustes internes Weltmodell aufbaut.

Experimentelle Tests zeigen, dass Modelle, die mit kontinuierlichem Pre‑Training (CPT) auf synthetischen Dynamiken arbeiten, die Basis‑Modelle ohne CPT um durchschnittlich 7 % bei Offline‑Benchmarks und um 16,8 % bei realen Online‑Navigationen übertreffen. Darüber hinaus steigt die Navigationsleistung proportional zur Menge synthetischer Daten, was die Skalierbarkeit weiter belegt.

Diese Ergebnisse bestätigen, dass die Verankerung von Agenten in forward‑predictive‑Modellen einen überlegenen Weg zur skalierbaren GUI‑Automatisierung darstellt – mit robuster Cross‑Domain‑Anpassungsfähigkeit und kompositorischer Generalisierung.