X-MoE: Skalierbares Training von Mixture-of-Experts auf HPC-Plattformen

Die neueste Generation von Mixture-of-Experts (MoE)-Modellen, darunter DeepSeek‑MoE, erzielt beeindruckende Ergebnisse, stößt jedoch bei der Skalierung an Grenzen. Hohe Aktivierungs‑Speicheranforderungen und aufwendige All‑to‑All‑Kommunikation hemmen die Effizienz, während aktuelle Trainingssysteme, die vorwiegend für NVIDIA‑GPUs optimiert sind, auf anderen Plattformen deutlich schlechter performen.

Mit X‑MoE wird dieses Problem angegangen. Das System kombiniert mehrere innovative Ansätze: ein padding‑freies Training, das Speicherbedarf reduziert, ein Dispatch‑Mechanismus, der Redundanz vermeidet, sowie hybrides Parallel‑Training mit sequenz‑sharded MoE‑Blöcken. Diese Technik ermöglicht ein deutlich effizienteres Training über verschiedene Hardware‑Architekturen hinweg.

Die Leistungsfähigkeit von X‑MoE wurde auf dem Frontier‑Supercomputer getestet, der mit AMD MI250X‑GPUs ausgestattet ist. Dort konnte das System DeepSeek‑ähnliche MoEs mit bis zu 545 Milliarden Parametern auf 1 024 GPUs skalieren – ein Faktor von zehn größer als das bislang größte trainierbare Modell bei gleichem Hardware‑Budget. Gleichzeitig bleibt die Trainingsdurchsatzrate hoch.

Der Quellcode von X‑MoE ist frei verfügbar unter https://github.com/Supercomputing-System-AI-Lab/X-MoE und eröffnet Forschern sowie Entwicklern die Möglichkeit, die nächste Generation von Expertenspezialmodellen auf Hochleistungsrechnern zu realisieren.