ProactiveMobile: Benchmark für proaktive Intelligenz auf mobilen Geräten

In der Welt der multimodalen großen Sprachmodelle (MLLMs) hat die Entwicklung von mobilen Agenten bisher vor allem ein reaktives Paradigma verfolgt – die Modelle führen lediglich explizite Befehle aus. Mit dem neuen Benchmark ProactiveMobile wird dieser Ansatz um ein völlig neues Ziel erweitert: Agenten sollen eigenständig Nutzerbedürfnisse vorhersagen und entsprechende Aktionen initiieren.

ProactiveMobile definiert die Aufgabe der Proaktivität als das Erkennen latenter Nutzerabsichten anhand von vier Dimensionen on‑device‑kontextueller Signale und das anschließende Erzeugen einer ausführbaren Funktionssequenz aus einem Pool von 63 APIs. Der Benchmark umfasst mehr als 3.660 Instanzen, verteilt auf 14 realitätsnahe Szenarien, und nutzt Multi‑Answer‑Annotationen, um die Komplexität echter Anwendungsfälle abzubilden.

Um höchste Qualität zu gewährleisten, prüft ein Team von 30 Experten jede Instanz auf Faktenkonsistenz, logische Plausibilität und Umsetzbarkeit. Nur nach dieser abschließenden Auditierung wird ein Beispiel in den Benchmark aufgenommen.

Die ersten Experimente zeigen, dass ein feinabgestimmtes Modell – Qwen2.5‑VL‑7B‑Instruct – mit einer Erfolgsquote von 19,15 % die Konkurrenz deutlich übertrifft. Im Vergleich dazu erreichen die Modelle o1 und GPT‑5 lediglich 15,71 % bzw. 7,39 %. Diese Ergebnisse verdeutlichen, dass Proaktivität zwar ein entscheidendes, bislang fehlendes Merkmal in MLLMs ist, aber durchaus erlernbar und damit ein zentrales Ziel für zukünftige Forschung darstellt.