ECHO: Dynamische Kritiker für stabileres Agentenlernen in offenen Welten

In der Welt der Verstärkungslernen-Modelle hat sich die Kritik-basierte Lernmethode als besonders wirkungsvoll erwiesen, indem sie spärliche Ergebnisbelohnungen mit natürlicher Sprachfeedback ergänzt. Traditionell beruhen die Kritiker jedoch auf statischen oder offline trainierten Modellen, die nicht mit der sich wandelnden Politik des Agenten Schritt halten können. Dadurch werden die Rückmeldungen im Laufe der Zeit veraltet und verlieren an Nutzen.

Um diesem Problem zu begegnen, präsentiert das neue Forschungsprojekt ECHO (Evolving Critic for Hindsight‑Guided Optimization). ECHO nutzt einen synchronisierten Co‑Evolution-Loop, bei dem Politik und Kritiker gleichzeitig optimiert werden. Durch einen gestaffelten Rollout erzeugt der Kritiker mehrere Diagnosen für eine Ausgangssequenz, worauf die Politik abgestimmt wird, um gruppenstrukturierte Vorteilsschätzungen zu ermöglichen.

Ein weiteres Schlüsselelement ist die „Saturation‑Aware Gain Shaping“-Zielsetzung, die den Kritiker dafür belohnt, dass er schrittweise Verbesserungen bei bereits leistungsstarken Trajektorien hervorruft. Zusätzlich sorgt die Dual‑Track GRPO‑Aktualisierung dafür, dass das Feedback des Kritikers stets mit der sich entwickelnden Politik synchron bleibt.

Experimentelle Ergebnisse zeigen, dass ECHO zu stabileren Trainingsabläufen führt und die Erfolgsrate bei Aufgaben mit langen Zeithorizonten in offenen Umgebungen deutlich steigert. Damit eröffnet das Verfahren neue Möglichkeiten für die Entwicklung von Agenten, die in komplexen, dynamischen Welten zuverlässig agieren können.