Neues Layer-Parallel Training beschleunigt Transformer-Modelle massiv

Eine neue Trainingsmethode für Transformer‑Modelle nutzt einen mehrstufigen, layer‑parallelen Ansatz, der die Rechenzeit drastisch verkürzt. Durch die Formulierung von Transformern als neuronale ODEs wird ein Parallel‑in‑Time‑Algorithmus für Vorwärts- und Rückwärtsdurchläufe eingesetzt, wodurch die Parallelisierung über die Schichtdimension realisiert wird.

Der Ansatz erhöht die Parallel‑Skalierbarkeit erheblich, wenn die Tiefe des Netzwerks wächst – ein entscheidender Vorteil für die zunehmend großen Basis‑Modelle, die heute im Einsatz sind. Gleichzeitig führt die Parallelisierung zu Fehlern, die systematische Verzerrungen in den Gradienten erzeugen und die Konvergenz in der Nähe von Minima verringern.

Um diesem Problem entgegenzuwirken, wurde ein Algorithmus entwickelt, der den kritischen Übergang erkennt und entweder auf sequentielles Training umschaltet oder die Genauigkeit des layer‑parallelen Trainings schrittweise erhöht. Dadurch bleibt die Konvergenz stabil.

Ergebnisse mit BERT, GPT‑2, ViT und maschinellen Übersetzungsarchitekturen zeigen, dass die Parallelbeschleunigung erreicht wird, ohne die Genauigkeit zu beeinträchtigen. Das Fine‑Tuning bleibt dabei unverändert effizient.