Neues Mixture-of-Experts-Modell verbessert Agentic RL durch Phasenorientierung

In der Welt des Reinforcement Learning (RL) haben große Sprachmodelle (LLM) Agenten mit einer beeindruckenden Fähigkeit ausgestattet, komplexe Aufgaben zu lösen. Doch bisher setzen die meisten RL-Methoden auf ein einzelnes Politiknetzwerk. Dieses Vorgehen führt zu einer sogenannten „Simplicity Bias“, bei der einfache Aufgaben die meisten Parameter beanspruchen und die Gradientenupdates dominieren, während komplexe Aufgaben kaum Kapazität erhalten.

Eine vielversprechende Lösung ist die Einbindung einer Mixture-of-Experts (MoE)-Architektur in das Politiknetzwerk. MoE ermöglicht es, dass verschiedene Experten unterschiedliche Aufgaben spezialisieren und so die Dominanz einfacher Aufgaben reduziert wird. Das Problem traditioneller MoE-Modelle liegt jedoch im token‑basierten Routing: Jeder Token wird individuell einem Experten zugeordnet, wodurch phasenkonsistente Muster fragmentiert und die Spezialisierung der Experten untergraben werden.

Das neue Konzept „Phase‑Aware Mixture of Experts“ (PA‑MoE) löst dieses Problem, indem es einen leichtgewichtigen „Phase‑Router“ einführt. Dieser Router lernt latente Phasen­grenzen direkt aus dem RL‑Ziel, ohne vorher definierte Phasenkategorien. Anschließend weist der Phase‑Router zeitlich konsistente Expertenzuweisungen zu, sodass Experten ihre phasen­spezifische Expertise bewahren können.

Experimentelle Ergebnisse zeigen, dass PA‑MoE die Leistung von Agenten in Agentic RL deutlich steigert. Durch die Kombination von MoE‑Spezialisierung und phasenorientiertem Routing wird die Kapazität für komplexe Aufgaben erhöht, während gleichzeitig die Effizienz bei einfachen Aufgaben erhalten bleibt.