SparkUI-Parser: Verbesserte GUI-Erkennung mit robuster Lokalisierung und Parsing
Multimodale große Sprachmodelle (MLLMs) haben die Erkennung von grafischen Benutzeroberflächen (GUI) stark vorangetrieben, doch bisherige Ansätze stoßen an Grenzen: Sie arbeiten mit diskreten Koordinaten, was die Genauigkeit der Lokalisierung einschränkt und die Inferenzgeschwindigkeit verlangsamt. Zudem beschränken sich die Modelle auf vordefinierte Elementgruppen und können die gesamte Oberfläche nicht vollständig parsen, was ihre Einsatzmöglichkeiten für nachgelagerte Aufgaben begrenzt.
