Newton-Optimierung mit niedriger Genauigkeit übertrifft Adam
In einer neuen Veröffentlichung auf arXiv wird gezeigt, wie Newton‑Methoden trotz der Beschränkungen von Gleitkommaarithmetik effizient eingesetzt werden können. Der Autor analysiert die Auswirkungen von endlicher Präzision auf Newton‑Schritte und liefert einen formalen Konvergenzsatz für Mixed‑Precision‑Newton‑Optimierer. Dabei werden sowohl „quasi‑“ als auch „inexact‑“ Varianten berücksichtigt und nicht nur Konvergenzgarantien, sondern auch a‑priori‑Schätzungen der erreichbaren Lösungsgenauigkeit bereitgestellt.
