Neuer Algorithmus invertiert Hessian von tiefen Netzen linear in Layerzahl

Ein neues Verfahren aus dem arXiv‑Preprint 2601.06096v1 ermöglicht es, die Hessian‑Matrix tiefen neuronaler Netze effizient zu invertieren. Der Ansatz berechnet Hessian‑Inverse‑Vector‑Produkte, ohne die Matrix selbst oder ihre Inverse zu speichern, und arbeitet mit einer linearen Zeit‑ und Speicherkomplexität in Bezug auf die Anzahl der Schichten.

Im Vergleich zur herkömmlichen Methode, die zunächst die gesamte Hessian‑Matrix berechnet und dann das lineare Gleichungssystem löst – ein Verfahren mit quadratischem Speicherbedarf und kubischer Operationen – skaliert das neue Verfahren ähnlich wie Pearlmutter’s Algorithmus für Hessian‑Vector‑Produkte. Damit eröffnet es neue Möglichkeiten für schnelle Optimierung und Sensitivitätsanalysen in tiefen Lernmodellen.