HiMAC: Hierarchisches Lernen für LLM-Agenten in Langzeitaufgaben

In einer neuen Veröffentlichung auf arXiv präsentiert HiMAC ein innovatives, hierarchisches Lernframework, das Large Language Model (LLM)-Agenten in der Lage versetzt, komplexe Aufgaben über lange Zeiträume hinweg zu planen und zuverlässig auszuführen. Das System teilt die Entscheidungsfindung in zwei Ebenen auf: ein Makro‑Planer erstellt strukturierte Blaupausen, während ein Mikro‑Ausführungsmechanismus zielgerichtete Aktionen ausführt.

Derzeit basieren viele LLM‑Agenten auf flachen, autoregressiven Politiken, bei denen hochrangiges Denken und niedrigstufige Handlungen in einer einzigen Token‑Sequenz erzeugt werden. Diese Vorgehensweise führt zu ineffizienter Exploration und starkem Fehler‑Propagation‑Risiko, besonders bei Aufgaben, die mehrere Schritte erfordern. HiMAC löst dieses Problem, indem es die Planung und Ausführung explizit trennt und dadurch die Komplexität reduziert.

HiMAC nutzt einen „Blueprint‑Generierungsprozess“, bei dem der Makro‑Planer einen strukturierten Plan erstellt, der anschließend von einem goal‑conditioned Executor umgesetzt wird. Diese Trennung ermöglicht robuste Langzeitplanung innerhalb von LLM‑basierten Agenten und verhindert, dass Fehler in frühen Schritten die gesamte Sequenz zerstören.

Zur effizienten Schulung der Hierarchie führt HiMAC ein kritiker‑freies, hierarchisches Policy‑Optimierungsparadigma ein, das die gruppenbasierte Reinforcement‑Learning‑Methode auf bi‑level Strukturen erweitert. Durch hierarchische relative Vorteilsschätzung und eine iterative Co‑Evolution‑Trainingsstrategie, die Planner‑Exploration und Executor‑Anpassung abwechselnd trainiert, wird die Nicht‑Stationarität, die bei hierarchischem Lernen häufig auftritt, gemildert.

Experimentelle Ergebnisse auf den Benchmarks ALFWorld, WebShop und Sokoban zeigen, dass HiMAC die Leistung von starken Prompting‑ und Reinforcement‑Learning‑Baselines übertrifft. Das System erreicht damit einen neuen Stand der Technik und verbessert die Stichproben­effizienz signifikant – sowohl bei textbasierten als auch bei visuellen Aufgaben.