Neues Arbitration-Control für DQN-Ensembles verbessert kontinuierliches RL

Ein neues Verfahren namens ACED‑DQN (Arbitration Control for an Ensemble of Diversified DQN variants) wurde auf arXiv veröffentlicht und verspricht, das Problem des „catastrophic forgetting“ in Deep‑Reinforcement‑Learning‑Modellen zu lösen. Durch die Kombination von mehreren DQN‑Varianten, die gezielt unterschiedliche Wertfunktionen lernen, und einem Arbitration‑Control, das Agenten mit höherer Zuverlässigkeit priorisiert, kann das System kontinuierlich Wissen erwerben und gleichzeitig alte Fähigkeiten bewahren.

Die Idee orientiert sich an der Funktionsweise des präfrontalen Cortex beim Menschen, wo mehrere Entscheidungsprozesse parallel laufen und ein Kontrollmechanismus entscheidet, welcher Prozess im jeweiligen Kontext am zuverlässigsten ist. ACED‑DQN übernimmt dieses Prinzip in die KI‑Welt und wählt während des Trainings die Agenten aus, die in den letzten Versuchen die geringsten Fehler gemacht haben.

Experimentelle Ergebnisse zeigen, dass ACED‑DQN sowohl in statischen als auch in kontinuierlichen Lernumgebungen signifikante Leistungssteigerungen erzielt. Die Autoren betonen, dass die Kombination aus diversifizierten DQNs und Arbitration‑Control ein robustes Fundament für zukünftige Entwicklungen im Bereich des kontinuierlichen Reinforcement Learning bildet.