MindPower: Vision‑Language-Agenten mit Theory‑of‑Mind‑Logik

Die neueste Veröffentlichung auf arXiv (2511.23055v1) stellt „MindPower“ vor – ein Robot-Centric‑Framework, das Vision‑Language‑Embodied‑Agents (VLM‑basierte Agenten) mit Theory‑of‑Mind‑(ToM) Fähigkeiten ausstattet. ToM bezeichnet die Fähigkeit, mentale Zustände anderer – wie Überzeugungen, Wünsche und Absichten – zu erkennen und zu interpretieren.

Aktuelle Agenten können zwar Bilder und Texte verarbeiten, jedoch fehlt ihnen die Möglichkeit, Entscheidungen auf Basis von ToM‑Schlüssen zu treffen. Zudem konzentrieren sich bestehende Benchmarks ausschließlich auf die mentalen Zustände von Menschen und vernachlässigen die Perspektive des Agenten selbst, was zu inkohärenten Handlungen führt.

MindPower löst dieses Problem, indem es vier Schritte integriert: Wahrnehmung, mentale Logik, Entscheidungsfindung und Handlung. Nach der Erfassung multimodaler Eingaben – etwa visueller Szenen und menschlicher Signale – führt das System ToM‑Schlüsse über sich selbst und andere aus. Anschließend werden Entscheidungen und Aktionen unter Berücksichtigung der abgeleiteten mentalen Zustände generiert.

Ein zentrales Element ist die neue „Mind‑Reward“-Optimierung, die VLMs dazu anregt, konsistente ToM‑Schlüsse und entsprechendes Verhalten zu erzeugen. In Benchmark‑Tests übertrifft MindPower GPT‑4o um 12,77 % bei der Entscheidungsfindung und um 12,49 % bei der Aktionsgenerierung.