ToolTok: Tokenisierung von Werkzeugen für effiziente, generalisierbare GUI-Agenten
In einer neuen Studie präsentiert ToolTok ein innovatives Konzept zur Steuerung von GUI-Agenten, das die Grenzen herkömmlicher, koordinatenbasierter Ansätze überwindet. Durch die Modellierung von Aktionen als sequenzielle Werkzeugverwendung ermöglicht ToolTok eine vielschichtige Pfadfindung, die sich nahtlos an unterschiedliche Bildauflösungen und Seitenverhältnisse anpasst.