Speicherbasierte Vorteilshaltung für LLM-gesteuertes Reinforcement Learning

In Lernumgebungen mit spärlichen oder verzögerten Belohnungen erfordert Reinforcement Learning (RL) oft eine enorme Anzahl von Interaktionen, um effektiv zu lernen. Um diese hohe Sample‑Complexity zu reduzieren, greifen Forscher vermehrt auf große Sprachmodelle (LLMs) zurück, die bei der Entdeckung von Zwischenzielen und der Steuerung von Trajektorien helfen. Häufige LLM‑Aufrufe bringen jedoch Skalierbarkeits- und Zuverlässigkeitsprobleme mit sich.

Die vorgestellte Methode löst diese Herausforderungen, indem ein Speichergraph aufgebaut wird, der sowohl Sub‑Goals als auch Trajektorien aus LLM‑Anweisungen als auch aus den eigenen erfolgreichen Rollouts des Agenten speichert. Aus diesem Graphen wird eine Nutzenfunktion abgeleitet, die bewertet, wie stark die aktuellen Trajektorien eines Agenten mit zuvor erfolgreichen Strategien übereinstimmen. Dieser Nutzen wird genutzt, um die Vorteilshaltung (Advantage Function) zu formen und dem Kritiker zusätzliche Orientierung zu geben, ohne die eigentliche Belohnungsstruktur zu verändern. Durch die primär offline basierte Verarbeitung und nur gelegentliche Online‑Abfragen bleibt die Abhängigkeit von kontinuierlicher LLM‑Überwachung minimal.

Erste Experimente in Standard‑Benchmark‑Umgebungen zeigen, dass die Methode die Sample‑Effizienz steigert und die frühe Lernphase beschleunigt, während die Endergebnisse mit denen von Ansätzen vergleichbar sind, die regelmäßig LLM‑Interaktionen erfordern. Diese Ergebnisse deuten darauf hin, dass speicherbasierte Vorteilshaltung ein vielversprechender Ansatz für skalierbares, LLM‑unterstütztes RL ist.