DeepSpeed präsentiert ZenFlow: Der stallfreie Offloading-Engine für LLM-Training
Anzeige
DeepSpeed hat ZenFlow vorgestellt, einen neuen Offloading-Engine, der ein zentrales Problem beim Training großer Sprachmodelle (LLM) adressiert: CPU‑induzierte GPU‑Stalls.
Durch das Auslagern von Optimierern und Gradienten in den CPU‑Speicher wird der Speicherbedarf der GPU reduziert. Traditionelle Ansätze wie ZeRO‑Offload und ZeRO‑Infinity lassen die leistungsstarken GPUs jedoch häufig für den Großteil eines Trainingsschritts untätig, weil sie auf langsame CPU‑Operationen warten.
ZenFlow soll diese Wartezeiten eliminieren und einen flüssigen, stallfreien Ablauf ermöglichen, wodurch die GPU-Auslastung maximiert und die Gesamtrechenzeit für LLM‑Training deutlich verkürzt wird.
Ähnliche Artikel
PyTorch – Blog
•
ZenFlow: Neue, stallfreie Offloading-Engine für LLM-Training
arXiv – cs.AI
•
Strukturierte Denk‑Aktions‑Sequenzen verbessern Perspektivwechsel in LLMs
arXiv – cs.AI
•
Code‑Formatierung: Der stille Kostenfaktor für LLMs
arXiv – cs.AI
•
FinAgentBench: Das erste Benchmark‑Dataset für mehrstufige Suche im Finanzbereich
arXiv – cs.AI
•
MAHL: KI‑gestütztes hierarchisches Chiplet‑Design mit adaptivem Debugging
arXiv – cs.AI
•
LLMs stimmen stark mit menschlichen Bewertungen emotionaler Stimuli überein