PerPilot: Mobile Agenten verstehen und führen persönliche Anweisungen aus

Vision‑Language‑Modelle (VLM) haben mobile Agenten in die Lage versetzt, Nutzern bei der Ausführung von Befehl‑basierten Aufgaben zu helfen. Doch bislang konnten diese Agenten kaum mit persönlichen Anweisungen umgehen – Anweisungen, die auf individuelle, oft mehrdeutige Kontexte angewiesen sind. In der neuen Arbeit wird dieser Mangel adressiert.

Zunächst wird der Begriff „personalisiert“ definiert und das Datenset PerInstruct vorgestellt. Es enthält von Menschen annotierte Anweisungen aus verschiedensten mobilen Alltagsszenarien und deckt damit ein breites Spektrum an persönlichen Anforderungen ab.

Auf Basis dieses Datensatzes wird das Framework PerPilot präsentiert. PerPilot ist ein Plug‑and‑Play‑Ansatz, der große Sprachmodelle nutzt, um mobile Agenten zu ermöglichen, persönliche Elemente in Befehlen zu erkennen, sie zu verstehen und eigenständig auszuführen. Dabei greift PerPilot auf zwei ergänzende Strategien zurück: ein speicherbasiertes Abrufen von relevanten Informationen und eine reasoning‑basierte Erkundung neuer Handlungsmöglichkeiten.

Experimentelle Ergebnisse zeigen, dass PerPilot persönliche Aufgaben mit minimalem Nutzer‑Input bewältigt und seine Leistung mit jeder weiteren Nutzung kontinuierlich verbessert. Die Arbeit unterstreicht damit die Bedeutung von personalisierungs‑sensiblen Entscheidungsprozessen für die nächste Generation mobiler Agenten.

Der Datensatz sowie der zugehörige Code stehen unter https://github.com/xinwang-nwpu/PerPilot zur Verfügung.