DeepSpeed präsentiert ZenFlow: Der stallfreie Offloading-Engine für LLM-Training
DeepSpeed hat ZenFlow vorgestellt, einen neuen Offloading-Engine, der ein zentrales Problem beim Training großer Sprachmodelle (LLM) adressiert: CPU‑induzierte GPU‑Stalls. Durch das Auslagern von Optimierern und Gradien…