VLM-Agenten werden mit Q‑Funktion bei Inferenz sofort besser

Vision‑Language‑Modelle (VLMs) sind inzwischen die treibende Kraft hinter autonomen Agenten, die in digitalen Umgebungen wie dem Web oder Betriebssystemen agieren. Trotz ihrer Leistungsfähigkeit stoßen sie bei sich schnell verändernden Szenarien oft an ihre Grenzen, weil sie nicht flexibel genug auf neue Informationen reagieren können. Traditionell würde man das Problem durch umfangreiches Fine‑Tuning lösen, was jedoch enorme Datenmengen und Rechenressourcen erfordert.

In einer neuen Studie wird ein völlig anderes Vorgehen vorgestellt: Der VLM bleibt unverändert und dient lediglich als hochqualitativer Vorschlaggeber für mögliche Aktionen. Anschließend wird ein leichtgewichtiger, offline trainierter Q‑Funktionswertrechner eingesetzt, um die vom VLM generierten Kandidaten zu bewerten und neu zu ordnen. Der Agent wählt dann die Aktion mit dem höchsten geschätzten Wert aus und führt sie aus – ohne dass die ursprüngliche VLM‑Policy neu trainiert werden muss.

Die Methode wurde am WebVoyager‑Benchmark getestet und erzielte beeindruckende Verbesserungen. Ein Qwen2.5‑VL‑7B Agent stieg von 38,8 % auf 55,7 % erfolgreicher Aufgabenlösung, während ein proprietärer GPT‑4.1 Agent von 82,4 % auf 88,8 % anstieg. Damit zeigt die Studie, dass die direkte Anwendung einer Q‑Funktion während der Inferenz eine sofortige und signifikante Leistungssteigerung ermöglicht, ohne die Notwendigkeit umfangreicher Retrainings.