MOSS: Effizientes FP8-Training für große Sprachmodelle

FP8-Formate versprechen enorme Effizienzgewinne beim Training großer Sprachmodelle, bringen jedoch die Herausforderung einer reduzierten numerischen Präzision mit sich. Aktuelle Frameworks umgehen dies mit einer Mischgranularität‑Quantisierung: Aktivierungen werden gruppenweise quantisiert, während Gewichte tensor- oder blockweise behandelt werden. Diese Vorgehensweise führt jedoch zu zusätzlichem Dequantisierungsaufwand und erfordert häufig Just‑in‑Time‑Skalierung, was die erwarteten Leistungsverbesserungen von FP8 zunichte macht.

Der neue Ansatz MOSS löst diese Probleme durch zwei zentrale Innovationen. Erstens nutzt er eine zweistufige Microscaling‑Strategie für empfindliche Aktivierungen, bei der ein hochpräziser globaler Skalierungsfaktor mit kompakteren, potenz von zwei lokalen Skalierungen kombiniert wird. Zweitens führt MOSS eine automatische Skalierung für Gewichte in linearen Schichten ein, die auf Vorhersagen der Skalierungsfaktoren während des Trainings basiert und damit aufwändige Max‑Reduktionsoperationen überflüssig macht.

Dank dieser Techniken kann MOSS ein 7‑Billionen‑Parameter‑Modell in FP8 trainieren und dabei die Leistung eines BF16‑Baseline‑Modells erreichen. Das Ergebnis zeigt, dass FP8‑Training mit MOSS nicht nur effizient, sondern auch numerisch stabil und praktisch einsetzbar ist.