Newton-Optimierung mit niedriger Genauigkeit übertrifft Adam

In einer neuen Veröffentlichung auf arXiv wird gezeigt, wie Newton‑Methoden trotz der Beschränkungen von Gleitkommaarithmetik effizient eingesetzt werden können. Der Autor analysiert die Auswirkungen von endlicher Präzision auf Newton‑Schritte und liefert einen formalen Konvergenzsatz für Mixed‑Precision‑Newton‑Optimierer. Dabei werden sowohl „quasi‑“ als auch „inexact‑“ Varianten berücksichtigt und nicht nur Konvergenzgarantien, sondern auch a‑priori‑Schätzungen der erreichbaren Lösungsgenauigkeit bereitgestellt.

Die experimentellen Ergebnisse auf Standard‑Regression‑Benchmarks sind überzeugend: Die vorgeschlagenen Mixed‑Precision‑Methoden schlagen den weit verbreiteten Adam‑Optimierer bei den Australian‑ und MUSH‑Datensätzen deutlich. Darüber hinaus präsentiert der Beitrag GN_k, eine generalisierte Gauss‑Newton‑Methode, die nur teilweise zweite‑Ordnung‑Ableitungen berechnet. GN_k erreicht dabei eine Leistung, die der vollständigen Newton‑Methode nahekommt, während es deutlich weniger Ableitungen erfordert.