WMAct: LLM-Agenten lernen durch Handeln, reduzieren Interaktionen für Weltmodell

Ein neuer Beitrag auf arXiv (2511.23476v1) präsentiert WMAct, eine Methode, die große Sprachmodelle (LLMs) befähigt, ihre Weltmodelle durch aktives Handeln zu internalisieren. Anstatt starre, vorgegebene Denkprozesse zu verfolgen, lassen die Autoren die Modelle ihre eigenen Erfahrungen sammeln und daraus lernen.

WMAct kombiniert zwei Schlüsselelemente: Erstens ein Belohnungs‑Reskalierungsmechanismus, der die Belohnung je nach Wirksamkeit der Aktion anpasst. Dadurch werden redundante Interaktionen vermieden und das Modell dazu angeregt, gezielt und effizient zu handeln. Zweitens eine Interaktionsfrequenz‑Annealing‑Strategie, die die maximale Anzahl an Wechseln schrittweise reduziert. Diese Technik zwingt das Modell, das Gelernte zu komprimieren und die Dynamik der Umgebung in sein internes Weltmodell zu integrieren, anstatt sich ausschließlich auf externe Hinweise zu verlassen.

In Experimenten mit klassischen Rätsel‑Umgebungen wie Sokoban, Maze und Taxi zeigte WMAct beeindruckende Ergebnisse. Aufgaben, die zuvor mehrere Interaktionen erforderten, konnten nun in einem einzigen Schritt gelöst werden. Darüber hinaus übertrug sich die verbesserte Weltmodell‑Logik erfolgreich auf komplexere Szenarien und steigerte die Leistung bei einer Reihe von Reasoning‑Benchmarks.

Die Arbeit unterstreicht, dass „Thinking by Doing“ – also das Lernen durch aktives Handeln – ein vielversprechender Ansatz ist, um die kognitive Flexibilität und Effizienz von LLM‑Agenten zu erhöhen. WMAct eröffnet neue Wege für die Entwicklung von Agenten, die in dynamischen Umgebungen schneller und intelligenter agieren können.