BOOST: Beschleunigtes Training für Low‑Rank‑Large‑Language‑Modelle

Die Skalierung von Transformer‑Modellen beim Pre‑Training wird zunehmend durch steigende Rechen- und Kommunikationskosten begrenzt. Low‑Rank‑Bottleneck‑Architekturen bieten eine vielversprechende Lösung, um Trainingszeit und Speicherbedarf drastisch zu senken, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Allerdings funktionieren herkömmliche Tensor‑Parallelism‑Strategien bei diesen Architekturen schlecht. Ein direktes Anwenden von 3D‑Parallelism, das für Vollrang‑Modelle entwickelt wurde, führt zu übermäßigem Datenverkehr und ineffizienter GPU‑Nutzung. Um dieses Problem zu lösen, wurde BOOST – ein optimiertes Trainingsframework für groß angelegte Low‑Rank‑Bottleneck‑Modelle – vorgestellt.

BOOST kombiniert mehrere Neuerungen: ein bottleneck‑sensitives Tensor‑Parallelism, Online‑RMSNorm, Gruppierung linearer Schichten und Low‑Rank‑Aktivierungs‑Checkpointing. Diese Maßnahmen ermöglichen einen End‑zu‑End‑Training‑Speedup von 1,46 bis 1,91‑fach gegenüber Vollrang‑Baselines und 1,87 bis 2,27‑fach gegenüber Low‑Rank‑Modellen mit naiv integriertem 3D‑Parallelism. Gleichzeitig verbessert BOOST die GPU‑Auslastung und reduziert die Kommunikationslast erheblich.