Schnelleres LLM-Training dank 2:4‑Sparsität und Venom‑Activations

Die Trainingszeit großer Sprachmodelle wird häufig durch die vielen Matrixmultiplikationen im Transformer begrenzt. Besonders im Feed‑Forward‑Network (FFN) entfällt bis zu 50 % der gesamten Rechenleistung auf diese Operationen. Durch den Einsatz von Hardware‑beschleunigter Sparsität – 2:4‑Sparsität für die Gewichte und v:n:m‑Sparsität (Venom) für die Aktivierungen – lässt sich dieser Engpass drastisch reduzieren.

Die neue Methode kombiniert sparsames Training mit den üblichen dichten Schritten am Ende des Pre‑Trainings. Damit bleiben die Modellqualitäten unverändert, während die End‑zu‑End‑Trainingszeit um 1,4 bis 1,7‑fach verkürzt wird. Der Ansatz ist ab sofort auf allen NVIDIA‑GPUs ab der A100‑Generation nutzbar und lässt sich problemlos mit anderen Optimierungen wie Quantisierung kombinieren.

Darüber hinaus ist die Technik auch für Mixture‑of‑Experts‑Architekturen geeignet, wodurch sie ein breites Anwendungsspektrum abdeckt. Entwickler können so ihre Modelle schneller und effizienter trainieren, ohne Kompromisse bei der Leistung einzugehen.