RMNP: Schnellere Optimierung von Sprachmodellen durch Zeilen‑Normierung
Auf der Plattform arXiv wurde ein neuer Optimierer namens RMNP (Row‑Momentum Normalized Preconditioning) vorgestellt, der die Trainingsgeschwindigkeit großer Sprachmodelle deutlich steigert. Preconditioned adaptive Meth…