Neues Training für MoE-Modelle: Experten lernen sich zu spezialisieren

Die Mixture-of-Experts (MoE)-Architektur gilt als Schlüsseltechnologie für die Skalierung großer Sprachmodelle, leidet jedoch häufig unter der sogenannten Expertenhomogenisierung. Dabei entwickeln mehrere Experten identische Funktionen, was die Leistungsfähigkeit des Modells stark einschränkt.

Um diesem Problem entgegenzuwirken, wurde die „Expert Divergence Learning“-Strategie entwickelt. Diese nutzt ein label‑gesteuertes Hilfsziel, das die Jensen‑Shannon‑Divergenz zwischen den Routing‑Verteilungen der Experten für unterschiedliche Daten‑Domains maximiert. Durch die gezielte Förderung divergierender Routing‑Politiken für verschiedene Domains und einer engeren Abstimmung innerhalb derselben Domain entsteht eine natürliche Spezialisierung der Experten.

Die Methode wurde erfolgreich bei der Vor‑Training von MoE‑Modellen mit bis zu 15 Milliarden Parametern aus dem Nichts eingesetzt. Die Resultate zeigen nicht nur einen niedrigeren Sprachmodell‑Verlust, sondern auch signifikante Verbesserungen bei einer breiten Palette von Down‑stream‑Benchmarks. Gleichzeitig reduziert die Technik die Expertenhomogenisierung, fördert die funktionale Spezialisierung und verursacht dabei nur einen vernachlässigbaren Rechenaufwand während des Trainings.