Neue Methode SLEA‑RL verbessert LLM‑Agenten bei mehrstufigen Aufgaben

In der Forschung zu großen Sprachmodellen (LLM) haben Agenten bereits beeindruckende Ergebnisse bei mehrstufigen Tool‑Use‑Aufgaben erzielt. Dabei werden sie jedoch bislang isoliert trainiert, sodass sie keine Erfahrungen aus vorherigen Episoden nutzen können. Traditionelle, erlebnisbasierte Ansätze speichern Trajektorien in Bibliotheken, greifen aber nur einmal auf Basis der anfänglichen Aufgabenbeschreibung zu und halten diese Erfahrungen während der gesamten Episode unverändert. In dynamischen Mehrschritt‑Szenarien, in denen sich Beobachtungen Schritt für Schritt ändern, führt diese statische Abrufstrategie zu immer größeren Diskrepanzen.

Die neue Technik namens SLEA‑RL (Step‑Level Experience‑Augmented Reinforcement Learning) löst dieses Problem, indem sie zu jedem Entscheidungs­schritt relevante Erfahrungen anhand der aktuellen Beobachtung abruft. Das System besteht aus drei Kernkomponenten: Erstens gruppiert ein Schritt‑Level‑Observations‑Clustering strukturell äquivalente Umgebungszustände, um einen effizienten, cluster‑indizierten Abruf zu ermöglichen. Zweitens entwickelt sich eine selbst‑evolving Experience‑Library kontinuierlich weiter, indem erfolgreiche Strategien und Fehlermuster anhand von Scores selektiert und extrahiert werden. Drittens optimiert die Policy‑Optimierung mit Schritt‑Level‑Credit‑Assignment die Belohnungszuweisung auf feiner Granularität, was eine präzisere Abschätzung von Vorteilen über die gesamte Episode hinweg erlaubt.

Ein entscheidender Vorteil von SLEA‑RL ist, dass die Experience‑Library nicht über Gradient‑Updates, sondern über semantische Analyse zusammen mit der Policy wächst. In umfangreichen Experimenten auf Langzeit‑Mehrschritt‑Agenten‑Benchmarks zeigte sich, dass SLEA‑RL die Leistung gegenüber verschiedenen Reinforcement‑Learning‑Baselines deutlich steigert. Diese Ergebnisse deuten darauf hin, dass Schritt‑weise, beobachtungsbasierte Erfahrungssuche ein vielversprechender Ansatz für die Weiterentwicklung von LLM‑Agenten in komplexen, dynamischen Aufgaben ist.