TorchTitan ermöglicht effizientes MoE-Pretraining auf 1.000 AMD‑GPUs

Die neueste Entwicklung im Bereich der großen Sprachmodelle zeigt, dass das Pre‑Training von Mixture‑of‑Experts (MoE) Modellen wie DeepSeek‑V3 und Llama 4‑Scout nun mit einer bemerkenswerten Effizienz auf einer riesigen GPU‑Cluster‑Infrastruktur möglich ist. Durch die Nutzung von TorchTitan – einer speziell entwickelten Bibliothek für sparsames Training – konnten Forscher die Rechenlast auf 1.000 AMD‑GPUs verteilen und gleichzeitig die Speicher‑ und Netzwerkbandbreite optimal ausnutzen.

MoE‑Modelle stellen herkömmliche GPU‑Architekturen vor enorme Herausforderungen, da sie nur einen Bruchteil der Experten gleichzeitig aktivieren und dadurch sehr hohe Parallelisierungsanforderungen erzeugen. TorchTitan adressiert dieses Problem, indem es dynamische Aktivierungs‑ und Speicher‑Management‑Strategien einsetzt, die die Datenflüsse zwischen den Kernen minimieren. Gleichzeitig werden neue Compiler‑Optimierungen integriert, die die Ausführung von sparsamen Operationen beschleunigen und die Latenz reduzieren.

Die Ergebnisse der Studie zeigen, dass das Pre‑Training von Modellen mit mehreren Milliarden Parametern auf einer 1.000‑Kern‑Cluster‑Umgebung nicht nur machbar, sondern auch kosteneffizient ist. Durch die Kombination von AMD‑GPUs, die für ihre hohe Rechenleistung zu einem günstigen Preis bekannt sind, und der optimierten Software‑Pipeline von TorchTitan konnten die Forscher die Trainingszeit im Vergleich zu herkömmlichen Ansätzen deutlich verkürzen. Diese Fortschritte ebnen den Weg für die nächste Generation von Sprachmodellen, die noch größer und leistungsfähiger sind, ohne dass die Infrastrukturkosten unverhältnismäßig steigen.