MAGE: Meta-Lern-Framework für LLM-Agenten – Strategische Erkundung & Ausnutzung

In der Welt der großen Sprachmodelle (LLMs) hat sich gezeigt, dass Agenten erstaunliche Leistungen in erlernten Aufgaben erbringen können. Dennoch kämpfen sie häufig damit, sich in dynamischen Umgebungen mit Feedback anzupassen. Klassische Ansätze wie In‑Context Learning oder externe Speicher bieten zwar Flexibilität, lassen jedoch die notwendige adaptive Fähigkeit für langfristige Verbesserungen außen vor.

Die neue Methode MAGE (Meta‑Reinforcement Learning für Sprachagenten) integriert das Lernverfahren direkt in das Modell. Durch ein mehrepisodisches Trainingsschema werden Interaktionsverläufe und Reflexionen in das Kontextfenster eingebunden, wobei die Belohnung des letzten Episoden als Ziel dient. So wird der Agent dazu angeregt, seine Strategien anhand vergangener Erfahrungen zu verfeinern.

Ein weiteres Highlight von MAGE ist die Kombination aus population‑basiertem Training und einer agentenspezifischen Vorteil‑Normalisierung. Diese Technik erhöht die Agentenvielfalt und sorgt für stabile Lernprozesse. In Experimenten übertraf MAGE bestehende Baselines sowohl bei Erkundungs- als auch bei Ausnutzungstätigkeiten und zeigte eine starke Generalisierung gegenüber unbekannten Gegnern.

Der Quellcode ist frei verfügbar unter https://github.com/Lu-Yang666/MAGE.