MIRA: Neuer RL-Agent nutzt Memory‑Graph, reduziert LLM‑Abhängigkeit

Reinforcement‑Learning‑Agenten kämpfen häufig mit hoher Sample‑Complexity, wenn Belohnungen spärlich oder verzögert auftreten. Große Sprachmodelle (LLMs) können dabei helfen, indem sie Subgoal‑Decomposition, plausible Trajektorien und abstrakte Priorisierungen liefern. Doch die ständige Abhängigkeit von LLM‑Supervision führt zu Skalierbarkeitsproblemen und kann unzuverlässige Signale erzeugen.

Der neue Agent MIRA (Memory‑Integrated Reinforcement Learning Agent) löst dieses Problem, indem er einen strukturierten, sich entwickelnden Memory‑Graphen nutzt. Dieser Graph speichert entscheidungsrelevante Informationen – von Trajektorienfragmenten bis zu Subgoal‑Strukturen – die sowohl aus den besten Erfahrungen des Agenten als auch aus LLM‑Ausgaben stammen. Auf diese Weise werden LLM‑Abfragen in ein dauerhaftes Gedächtnis verlagert, anstatt Echtzeit‑Supervision zu erfordern.

Aus dem Memory‑Graphen wird ein Utility‑Signal abgeleitet, das die Advantage‑Schätzung sanft anpasst und so die Policy‑Updates beeinflusst, ohne die zugrunde liegende Belohnungsfunktion zu verändern. Im Verlauf des Trainings übertrifft die Policy des Agenten die anfänglichen LLM‑Priorisierungen, und das Utility‑Signal wird allmählich abgeschwächt, wodurch die üblichen Konvergenzgarantien erhalten bleiben.

Eine theoretische Analyse zeigt, dass die utility‑basierte Shaping‑Methode die Lernphase in sparsamen Belohnungsumgebungen deutlich beschleunigt. Empirische Tests belegen, dass MIRA RL‑Baselines übertrifft und Rückgaben erzielt, die denen von Ansätzen mit häufiger LLM‑Supervision entsprechen – jedoch mit deutlich weniger Online‑LLM‑Abfragen.

Weitere Informationen und Code finden Sie auf der Projektseite: https://narjesno.github.