EcoSpa: Effizientes Transformer‑Training durch gekoppelte Sparsität

Transformers bilden heute das Rückgrat moderner KI‑Modelle, doch ihre enormen Rechen- und Speicheranforderungen stellen Systeme vor große Herausforderungen. Sparse‑Training kann die Effizienz steigern, doch bisherige Ansätze vernachlässigen die engen Wechselwirkungen zwischen den Gewichtsmatrizen, die in Aufmerksamkeits‑ und Feed‑Forward‑Schichten multipliziert werden. Das führt bei hohen Sparsitätsgraden zu Leistungseinbußen.

Mit EcoSpa wird dieses Problem adressiert: Die Methode führt ein strukturiertes, sparsames Training ein, bei dem gekoppelte Gewichtsmatrizen gleichzeitig bewertet und reduziert werden. Durch das abgestimmte Entfernen von Zeilen und Spalten bleiben die kritischen Interaktionsmuster erhalten. EcoSpa bietet zudem eine neue Granularität zur Bestimmung der Wichtigkeit einzelner Strukturelemente und arbeitet sowohl im Pre‑Training als auch im Fine‑Tuning.

Die Ergebnisse sprechen für sich: Beim Training von LLaMA‑1B reduziert EcoSpa den Speicherbedarf um 50 % und beschleunigt die Trainingszeit um 21 %. Für GPT‑2‑Medium erzielt die Methode eine Modellkompression von 2,2‑fach, während die Perplexität um 2,4 Punkte sinkt. Zusätzlich wird die Inferenzgeschwindigkeit um 1,6‑fach erhöht. Alles wird mit Standard‑PyTorch‑Operationen realisiert, ohne spezielle Hardware oder benutzerdefinierte Kernel, sodass effizientes Transformer‑Training auf handelsüblichen Rechnern möglich ist.