GreedySnake steigert SSD-gestütztes LLM-Training um bis zu 2,5×
GreedySnake ist ein neues System für das SSD‑offloaded Training von großen Sprachmodellen (LLMs) und macht das Training dadurch deutlich kosteneffizienter. Durch die Kombination von Gradient‑Accumulation mit Mikro‑Batches nutzt es die Vorteile von SSD‑Speicher, um die Speicher‑ und Rechenanforderungen zu reduzieren.
Der Kernunterschied zu bisherigen Ansätzen liegt in der „vertikalen“ Scheduling‑Strategie: GreedySnake führt sämtliche Mikro‑Batches einer Schicht vollständig aus, bevor es zur nächsten Schicht übergeht. Im Gegensatz dazu setzen herkömmliche Systeme auf horizontales Scheduling, bei dem Mikro‑Batches nacheinander abgearbeitet werden. Diese Änderung führt zu einer höheren Durchsatzrate, selbst bei kleineren Batch‑Größen, und bringt das System näher an das ideale Szenario des Roofline‑Modells.
Durch das Überlappen eines Teils des Optimierungs‑Schritts mit dem Forward‑Pass der nächsten Iteration wird die I/O‑Flaschenhals‑Problematik weiter gemildert. Die Resultate auf A100‑GPUs zeigen beeindruckende Verbesserungen: Für GPT‑65B erreicht GreedySnake einen Durchsatz von 1,96‑fach auf einem GPU und 1,93‑fach auf vier GPUs im Vergleich zu ZeRO‑Infinity. Bei GPT‑175B liegt der Durchsatzschub sogar bei 2,53‑fach auf einem einzelnen GPU.
Der komplette Code ist Open‑Source und auf GitHub verfügbar: https://github.com/npz7yyk/GreedySnake. Damit steht die Community nun ein leistungsstarkes Werkzeug zur Verfügung, um LLM‑Training effizienter und kostengünstiger zu gestalten.