V2P: GUI-Element-Positionierung durch Hintergrundunterdrückung und Zentrierung

Ein brandneues Verfahren namens Valley-to-Peak (V2P) verspricht, die präzise Lokalisierung von GUI-Elementen entscheidend zu verbessern. Durch die gezielte Unterdrückung von Hintergrundregionen und die Fokussierung auf das zentrale Punkt des Elements adressiert V2P zwei häufige Schwachstellen herkömmlicher Methoden.

Die Hintergrundunterdrückung verhindert, dass das Modell von irrelevanten Bereichen abgelenkt wird, während die Zentrierung – inspiriert von Fitts’ Law – die Interaktion als 2‑D‑Gauss‑Wärmekarte modelliert. Dabei nimmt die Gewichtung vom Zentrum zum Rand allmählich ab, wobei die Varianz der Gauss‑Funktion vom Zielgrößenmaß abhängt. Das Ergebnis ist eine klare Isolierung des Zielbereichs und eine stärkere Konzentration auf den wichtigsten Punkt des UI‑Elements.

In Tests auf den Benchmarks ScreenSpot‑v2 und ScreenSpot‑Pro erzielt V2P beeindruckende Ergebnisse: 92,4 % Genauigkeit bei ScreenSpot‑v2 und 52,5 % bei ScreenSpot‑Pro. Ablationsstudien zeigen, dass sowohl die Hintergrundunterdrückung als auch die Zentrierung jeweils einen wesentlichen Beitrag zum Erfolg leisten, was die Vielseitigkeit und Generalisierbarkeit des Ansatzes unterstreicht.

V2P demonstriert, wie menschliche visuelle Wahrnehmung und klassische Interaktionsmodelle in modernen KI‑Systemen integriert werden können, um die Interaktion mit grafischen Benutzeroberflächen präziser und zuverlässiger zu gestalten.