NGU erweitert auf Multi-Agenten: Mehr Stabilität und höhere Renditen
Der Reinforcement‑Learning‑Algorithmus Never Give Up (NGU) wird nun in Multi‑Agenten‑Umgebungen eingesetzt. In einer ersten Untersuchung wurde NGU im einfachen Tag‑Spiel aus der PettingZoo‑Suite getestet und mit einem Multi‑Agenten‑DQN‑Baseline verglichen.
Die Ergebnisse zeigen, dass NGU moderat höhere Erträge erzielt und die Lernkurve stabiler verläuft. Besonders stark profitieren die Agenten von einem gemeinsamen Replay‑Buffer – dieser Ansatz liefert die beste Performance und Stabilität, weil er NGU‑intrinsische Exploration mit Erfahrungsaustausch kombiniert.
Weitere Experimente untersuchten die Wirkung von gemeinsam genutzter episodischer Novelty bei unterschiedlichen k‑Schwellen sowie heterogene beta‑Werte. Novelty‑Sharing funktioniert bei k = 1 ähnlich gut, verschlechtert sich jedoch bei höheren k‑Werten. Heterogene beta‑Werte bringen keinen zusätzlichen Nutzen gegenüber einem kleinen gemeinsamen Wert.
Die Studie legt nahe, dass NGU in Multi‑Agenten‑Settings effektiv eingesetzt werden kann, wenn Erfahrungen geteilt und die intrinsischen Explorationssignale sorgfältig abgestimmt werden.