ToolTok: Tokenisierung von Werkzeugen für effiziente, generalisierbare GUI-Agenten

In einer neuen Studie präsentiert ToolTok ein innovatives Konzept zur Steuerung von GUI-Agenten, das die Grenzen herkömmlicher, koordinatenbasierter Ansätze überwindet. Durch die Modellierung von Aktionen als sequenzielle Werkzeugverwendung ermöglicht ToolTok eine vielschichtige Pfadfindung, die sich nahtlos an unterschiedliche Bildauflösungen und Seitenverhältnisse anpasst.

Traditionelle Agenten, die auf ein‑Schritt‑Visual‑Grounding setzen, kämpfen häufig mit der Generalisierung auf variierende Eingabeauflösungen. ToolTok begegnet diesem Problem, indem es Werkzeuge in Form von lernbaren Token‑Einbettungen definiert, die eng an menschliche Interaktionsgewohnheiten angelehnt sind. Ein semantisches Anker‑Mechanismus sorgt dafür, dass jedes Werkzeug mit verwandten Konzepten verknüpft wird, was die Lernfähigkeit bei begrenzter Datenmenge deutlich verbessert.

Um die Werkzeugsemantik schrittweise zu erlernen, nutzt ToolTok ein leicht‑zu‑schweres Curriculum, das aus drei Aufgaben besteht: Frage‑Antwort‑Definition von Tokens, rein textbasierte Werkzeugauswahl und vereinfachte visuelle Pfadfindung. Durch diese strukturierte Vorgehensweise kann ein vortrainiertes Sprachmodell die Werkzeugsemantik effizient aufnehmen.

Die umfangreichen Experimente auf mehreren Benchmarks zeigen, dass ToolTok bei vergleichbarer Modellgröße (4 B) die Leistung anderer Ansätze übertrifft und selbst mit einem deutlich größeren Modell (235 B) konkurrenzfähig bleibt. Besonders bemerkenswert ist, dass die Ergebnisse mit weniger als 1 % der Trainingsdaten erzielt werden, die andere Post‑Training‑Methoden benötigen. ToolTok demonstriert zudem eine starke Generalisierung auf bislang unbekannte Szenarien. Der gesamte Trainings‑ und Inferenzcode steht unter GitHub und ist Open‑Source verfügbar.