Mugi: Wertorientierte Parallelisierung steigert Effizienz großer Sprachmodelle

Wertorientierte Parallelisierung (VLP) wurde entwickelt, um die Effizienz von großen, niedrigen Präzisions-Matrixmultiplikationen (GEMM) zwischen symmetrischen Aktivierungen und Gewichten zu erhöhen. In transformerbasierten Sprachmodellen gibt es jedoch komplexere Operationen, die über die reine Aktivierungs‑Gewicht‑GEMM hinausgehen.

Die Autoren erweitern VLP auf nichtlineare Approximationen und erzielen damit bessere Ergebnisse in Genauigkeit, Leistung und Effizienz als bisherige Ansätze. Dabei konzentriert sich die VLP‑Approximation auf wichtige Werte, die mit höherer Genauigkeit behandelt werden.

Weiterhin wird VLP für kleine Batch‑GEMMs mit asymmetrischen Eingaben optimiert. Diese Optimierung nutzt aktuelle LLM‑Techniken wie Gewicht‑nur‑Quantisierung, KV‑Cache‑Quantisierung und gruppenbasierte Query‑Attention, um die Verarbeitung zu beschleunigen.

Auf Basis dieser Fortschritte wird die neue VLP‑Architektur „Mugi“ vorgestellt. Mugi integriert die beschriebenen Innovationen, unterstützt komplette LLM‑Workloads und liefert verbesserte Leistung, Energieeffizienz und Nachhaltigkeit.

Experimentelle Ergebnisse zeigen, dass Mugi die Durchsatzrate um bis zu 45‑fach und die Energieeffizienz um bis zu 668‑fach steigern kann – insbesondere bei nichtlinearen Softmax‑Operationen. Für komplette LLM‑Anwendungen liegen die Verbesserungen bei 2,07‑facher Durchsatzrate und 3,11‑facher Energieeffizienz. Gleichzeitig reduziert Mugi die Betriebskohlenstoffemissionen um 1,45‑fach und die eingebettete Kohlenstoffbilanz um 1,48‑fach.