Neue Optimierer IAGD und NRSGD beschleunigen Gradient Descent
Ein neuer Beitrag auf arXiv (2510.13040v1) stellt zwei innovative Optimierer vor, die das klassische Stochastic Gradient Descent (SGD) deutlich verbessern. Der Interpolational Accelerating Gradient Descent (IAGD) nutzt eine zweite‑Ordnung‑Newton‑Interpolation, um die Konvergenz während des Trainings zu beschleunigen, indem er die Relevanz der Gradienten zwischen aufeinanderfolgenden Iterationen ausnutzt.
