NLAC: LLM-Agenten lernen effizienter ohne On-Policy-Gradienten

In der Forschung zu großen Sprachmodellen (LLMs) gewinnen Agenten, die über lange Zeiträume mit ihrer Umgebung interagieren, immer mehr an Bedeutung. Sie ermöglichen komplexe Aufgaben wie Tool‑Nutzung, Web‑Surfen oder Dialoge mit Menschen. Traditionell werden solche Agenten mit Policy‑Gradient‑Methoden trainiert, die auf sparsamen Belohnungen basieren. Bei langen Aufgaben mit wenigen Rückmeldungen führt das zu stark verrauschten Lernsignalen, instabilem Training und enorm hohem Datenverbrauch.

Die neue Methode Natural Language Actor‑Critic (NLAC) löst dieses Problem, indem sie einen generativen LLM‑Critiker einsetzt, der statt eines einzigen Skalarwerts natürliche Sprachfeedbacks liefert. Diese detaillierten Erklärungen zeigen dem Agenten, warum eine bestimmte Aktion suboptimal war, und geben konkrete Hinweise, wie er seine Entscheidungen verbessern kann. Dadurch entfällt die Notwendigkeit von zufälliger Exploration, die bei großen, offenen Aktionsräumen oft ineffizient ist.

Ein weiterer Vorteil von NLAC ist, dass es off‑policy trainiert werden kann, ohne auf Policy‑Gradients angewiesen zu sein. Das macht das Verfahren daten‑effizienter und stabiler als herkömmliche on‑policy Ansätze. In Experimenten zu logischen Rätseln, Web‑Surfen und anderen anspruchsvollen Aufgaben zeigte NLAC deutlich bessere Leistungen und schnellere Konvergenz als vergleichbare Methoden.

Die Ergebnisse deuten darauf hin, dass natürliche Sprachfeedbacks ein kraftvolles Signal für das Training von LLM‑Agenten darstellen. NLAC eröffnet damit neue Wege, um robuste, langfristig agierende Sprachmodelle zu entwickeln, die komplexe Aufgaben mit weniger Daten und höherer Stabilität bewältigen können.