SparkUI-Parser: Verbesserte GUI-Erkennung mit robuster Lokalisierung und Parsing

Multimodale große Sprachmodelle (MLLMs) haben die Erkennung von grafischen Benutzeroberflächen (GUI) stark vorangetrieben, doch bisherige Ansätze stoßen an Grenzen: Sie arbeiten mit diskreten Koordinaten, was die Genauigkeit der Lokalisierung einschränkt und die Inferenzgeschwindigkeit verlangsamt. Zudem beschränken sich die Modelle auf vordefinierte Elementgruppen und können die gesamte Oberfläche nicht vollständig parsen, was ihre Einsatzmöglichkeiten für nachgelagerte Aufgaben begrenzt.

Der neue SparkUI-Parser löst diese Probleme mit einem end‑to‑end-Framework, das gleichzeitig höhere Lokalisierungspräzision und eine feingranulare Analyse der gesamten GUI ermöglicht. Anstelle von diskreten, probabilistischen Modellen nutzt SparkUI-Parser kontinuierliche Koordinaten, die auf einem vortrainierten MLLM basieren, ergänzt durch einen Token‑Router und einen Koordinaten‑Decoder. Diese Architektur beseitigt die Einschränkungen der token‑basierten Generierung und steigert sowohl die Genauigkeit als auch die Geschwindigkeit der Inferenz.

Um die Robustheit weiter zu erhöhen, integriert SparkUI-Parser einen Ablehnungsmechanismus, der auf einer modifizierten Hungarian‑Matching‑Algorithmus‑Variante basiert. Damit kann das Modell nicht vorhandene Elemente erkennen und ablehnen, was die Anzahl der Fehlalarme deutlich reduziert.

Zur systematischen Bewertung der strukturellen Wahrnehmungsfähigkeiten von GUI‑Modellen wurde das neue Benchmark‑Set ScreenParse entwickelt. Es bietet eine rigorose, vielfältige Testumgebung, die die Leistungsfähigkeit von SparkUI-Parser in unterschiedlichen Szenarien nachweist.

Umfangreiche Experimente zeigen, dass SparkUI-Parser die bestehenden Ansätze in Bezug auf Genauigkeit, Geschwindigkeit und Fehlalarmerkennung deutlich übertrifft. Damit ebnet der Parser einen wichtigen Schritt für die breitere Anwendung von MLLMs in der GUI‑Analyse und unterstützt zukünftige Aufgaben wie automatisierte UI‑Tests, Barrierefreiheit und intelligente Assistenzsysteme.