GUIGuard: Neuer Rahmen für datenschutzfreundliche GUI-Agenten

GUI-Agenten ermöglichen die vollständige Automatisierung von Aufgaben, indem sie Bildschirminhalte direkt wahrnehmen und mit Benutzeroberflächen interagieren. Gleichzeitig greifen sie häufig auf sensible persönliche Daten zu und senden Bildschirmfotos an entfernte Modelle – ein Szenario, das erhebliche Datenschutzrisiken birgt.

Um diesen Herausforderungen zu begegnen, stellt das Forschungsteam GUIGuard vor: ein dreistufiges Framework, das zunächst die Privatsphäre erkennt, anschließend Schutzmaßnahmen einsetzt und schließlich die Aufgaben unter Berücksichtigung dieser Maßnahmen ausführt. Die drei Phasen – Privacy Recognition, Privacy Protection und Task Execution under Protection – bilden zusammen einen umfassenden Ansatz, der die Privatsphäre in allen Interaktionsschritten schützt.

Zur Validierung des Ansatzes wurde GUIGuard-Bench entwickelt, ein plattformübergreifender Benchmark mit 630 Interaktionspfaden und 13 830 Screenshots. Jeder Screenshot ist mit regionbezogenen Privatsphäre-Labels, Risikostufen, Kategorien und Aufgabenrelevanz versehen. Die Tests zeigen, dass aktuelle Agenten bei der Erkennung von Privatsphäre nur 13,3 % Genauigkeit auf Android und 1,4 % auf PC erreichen – ein deutlicher Hinweis darauf, dass die Erkennung der kritische Engpass ist. Trotz dieser Einschränkungen können Schutzmaßnahmen die semantische Konsistenz der Aufgabenplanung erhalten, wobei geschlossene Modelle dabei besser abschneiden als offene Modelle. Fallstudien auf MobileWorld demonstrieren, dass gezielte Schutzstrategien die Aufgabenleistung steigern und gleichzeitig die Privatsphäre wahren.

Die Ergebnisse unterstreichen die Notwendigkeit, die Privatsphäre in GUI-Agenten stärker zu berücksichtigen. Weitere Informationen und den vollständigen Code finden Sie auf der Projektseite: GUIGuard.