MERIT: Neuer Optimierer ermöglicht 6.000‑Stichproben‑Batch ohne Leistungsverlust

Die Beschleunigung des Trainings großer neuronaler Netzwerke durch große Batch‑Größen ist heute ein entscheidender Faktor. Gleichzeitig stellen diese Batch‑Größen jedoch erhebliche Optimierungs‑ und Generalisierungsprobleme dar. Traditionelle Optimierer wie AdamW leiden unter einem Informationsengpass in den Aufmerksamkeits‑Schichten, der durch einen starken Anstieg des maximalen Attention‑Logits verursacht wird.

Der LAMB‑Optimierer konnte dieses Problem teilweise mildern, doch viele Aufmerksamkeits‑Schichten bleiben weiterhin betroffen. Der Grund liegt in der l2‑Norm‑basierten Vertrauens‑Ratio von LAMB, die den maximalen Wert der Query‑/Key‑Gewichte nicht ausreichend steuert. Zudem ignoriert die gewichtsspezifische Vertrauens‑Ratio die Beziehungen innerhalb von Zeilen oder Spalten, was zu Fehlern führt.

Auf dieser Grundlage wurde MERIT entwickelt, ein neuer Optimierer, der die Max‑Norm nutzt, um die Vertrauens‑Ratio zu berechnen und den maximalen Attention‑Logit gezielter zu begrenzen. Zusätzlich werden elementweise Vertrauens‑Ratios eingesetzt, die die lokale Gewichtstruktur berücksichtigen und so die Update‑Skalierung robuster machen.

Umfangreiche Experimente mit GPT‑2‑Modellen aller Größen zeigen, dass MERIT die Leistung bei großen Batch‑Größen deutlich verbessert. Besonders bei GPT‑2 Medium konnte MERIT ein Batch‑Size von 6.000 erreichen, ohne dass die Modellleistung im Vergleich zu einer Standard‑Batch‑Size von 480 und 48 M Trainings‑Tokens abnimmt. Diese Ergebnisse unterstreichen die Bedeutung einer Max‑Attention‑Logit‑Berücksichtigung und einer fein granularen Vertrauens‑Ratio für effizientes Large‑Batch‑Training.