GUI-Perturbed: Systematische Schwäche von GUI‑Modellen bei räumlicher Logik entdeckt

Neue Forschung aus dem Bereich der grafischen Benutzeroberflächen (GUI) hat ein alarmierendes Problem aufgedeckt: Modelle, die dafür entwickelt wurden, GUI‑Elemente anhand von Textanweisungen zu identifizieren, verlieren bei räumlich orientierten Aufgaben drastisch an Genauigkeit. Während die meisten Benchmarks über 85 % Trefferquote melden, sinkt die Leistung um 27 bis 56 % – wenn die Anweisungen nicht nur ein Element benennen, sondern dessen Position oder Beziehung zu anderen Elementen beschreiben.

Um diese Schwäche systematisch zu untersuchen, hat das Team die Methode „GUI‑Perturbed“ entwickelt. Dabei werden Bildschirme und Anweisungen unabhängig voneinander verändert, sodass die Robustheit der Modelle entlang verschiedener Achsen gemessen werden kann. Auf diese Weise lässt sich genau erkennen, welche Fähigkeiten – etwa räumliches Denken, visuelle Stabilität oder logisches Abgleichen – betroffen sind.

Die Analyse dreier 7‑Billionen‑Parameter‑Modelle derselben Architektur zeigte, dass relationale Anweisungen zu einem generellen Kollaps der Genauigkeit führen. Ein Browser‑Zoom von 70 % führte zu signifikanten Leistungsabfällen, und sogar ein gezieltes LoRA‑Fine‑Tuning mit zusätzlichen Daten verschlechterte die Ergebnisse. Diese Befunde verdeutlichen, dass aktuelle Modelle nicht nur auf statische Screenshots, sondern auch auf dynamische Veränderungen und komplexe Anweisungen vorbereitet sind.

Die Autoren stellen das komplette Dataset, die Augmentationspipeline und ein feinabgestimmtes Modell frei. Damit bietet GUI‑Perturbed ein wertvolles Werkzeug, um die Grenzen von GUI‑Grounding‑Modellen zu diagnostizieren und gezielt zu verbessern.