ProAgent: Proaktive LLM-Agenten nutzen sensorische Kontexte für smartere Hilfe

In einer Welt, in der Sprachmodelle immer mehr Aufgaben übernehmen, bleibt die Frage, wie diese Systeme noch hilfreicher werden können. ProAgent, vorgestellt auf arXiv, ist der erste vollständig proaktive LLM-Agent, der sensorische Kontexte nutzt, um eigenständig Unterstützung zu bieten.

Der Kern von ProAgent ist ein zweistufiger Ansatz: Zunächst sammelt ein „on‑demand“ Wahrnehmungssystem kontinuierlich Daten aus der Umgebung und erstellt hierarchische Kontexte, die sowohl sensorische als auch persönliche Hinweise enthalten. Anschließend wandelt ein kontextbewusster Regressor diese Informationen in konkrete Nutzerbedürfnisse und Tool‑Aufrufe um, sodass der Agent proaktiv handeln kann, ohne dass der Nutzer erst eingreifen muss.

Die Technologie wurde auf AR‑Brillen mit einer Edge‑Server‑Architektur implementiert und in einer umfangreichen Testreihe geprüft – von einem realen Testfeld über ein öffentliches Datenset bis hin zu einer Nutzerstudie. Die Ergebnisse sind beeindruckend: ProAgent erzielt bis zu 33,4 % höhere Vorhersagegenauigkeit, 16,8 % bessere F1‑Scores bei Tool‑Aufrufen und steigert die Zufriedenheit der Anwender deutlich gegenüber aktuellen Baselines.

Ein Video, das die Funktionsweise von ProAgent demonstriert, ist unter https://youtu.be/pRXZuzvrcVs verfügbar. Diese Entwicklung markiert einen bedeutenden Schritt in Richtung smarter, selbstständiger Assistenten, die nicht mehr nur auf Befehle warten, sondern aktiv das Umfeld wahrnehmen und handeln.