ZAYA1: Erstes großes Mixture-of-Experts-Modell, komplett auf AMD‑GPUs trainiert
Anzeige
In einer einjährigen Kooperation zwischen Zyphra, AMD und IBM wurde das KI-Modell ZAYA1 entwickelt. Das Ergebnis ist ein Meilenstein: ZAYA1 ist das erste bedeutende Mixture-of-Experts‑Fundamentmodell, das ausschließlich auf AMD‑GPUs und dem zugehörigen Netzwerk betrieben wurde.
Die Zusammenarbeit demonstriert, dass AMD‑Hardware in der Lage ist, anspruchsvolle, groß angelegte KI‑Trainingsaufgaben zuverlässig zu bewältigen. ZAYA1 liefert damit einen klaren Beleg dafür, dass AMD‑GPUs eine leistungsfähige Alternative zu herkömmlichen Plattformen darstellen.
Ähnliche Artikel
arXiv – cs.AI
•
PuzzleMoE: Kompression von MoE-Modellen um 50 % ohne Qualitätsverlust
VentureBeat – AI
•
IBM's open source Granite 4.0 Nano AI models are small enough to run locally directly in your browser
The Register – Headlines
•
Stargate is nowhere near big enough to make OpenAI's tie-ups with AMD and Nvidia work
PyTorch – Blog
•
Triton-Optimierter BF16 Grouped GEMM Kernel beschleunigt MoE-Modelle
AWS – Machine Learning Blog
•
HyperPod unterstützt jetzt NVIDIA Multi-Instance GPU für maximale Auslastung
arXiv – cs.LG
•
Ein kompakter Multi-Task-MoE-Ansatz für effizientes automatisiertes Scoring