MPR-GUI: Benchmark und Optimierung mehrsprachiger GUI-Wahrnehmung

Mit der rasanten Weiterentwicklung von Rechenressourcen zeigen Large Vision‑Language Models (LVLMs) beeindruckende Leistungen in Wahrnehmung und Logik bei grafischen Benutzeroberflächen (GUI). Doch während sie in englischsprachigen Szenarien stark abschneiden, bleibt ihre Mehrsprachigkeit weitgehend unerforscht – ein Hindernis für weltweite Anwendungen.

Um diese Lücke zu schließen, präsentiert die Forschung MPR‑GUI‑Bench, ein fein abgestimmtes, mehrsprachiges Benchmarking‑Set, das die Wahrnehmungs‑ und Logikfähigkeiten von GUI‑Agenten detailliert bewertet. Dabei werden nicht nur die Funktionen einzelner Widgets, sondern auch deren räumliche Beziehungen berücksichtigt.

Die ersten Ergebnisse zeigen deutlich: LVLMs liefern in nicht‑englischen Sprachen deutlich schlechtere Ergebnisse als in Englisch. Diese Diskrepanz verdeutlicht die Notwendigkeit gezielter Verbesserungen.

Zur Überwindung dieser Sprachbarrieren wurde GUI‑XLI entwickelt – ein Cross‑Lingual‑Interventionsverfahren, das gezielt die versteckten Zustände in den relevanten Schichten der Modelle anpasst. Das Konzept stützt sich auf frühere Erkenntnisse, dass die latenten Räume für unterschiedliche Sprachinputs stark variieren.

Experimentelle Tests belegen, dass GUI‑XLI die mehrsprachige Wahrnehmungs‑ und Logikleistung von GUI‑Agenten im Durchschnitt um 6,5 % steigert – ein bedeutender Fortschritt auf dem Weg zu global einsetzbaren KI‑Agenten.