Neuer Lernoptimierer verbessert SR1 mit datengetriebenem Preconditioning

End‑to‑End‑Deep‑Learning hat in den letzten Jahren beeindruckende Resultate erzielt, steht jedoch vor drei zentralen Herausforderungen: der Bedarf an riesigen, gelabelten Datensätzen, eine eingeschränkte Generalisierung auf unbekannte Szenarien und steigende Rechenkosten. Klassische Optimierungsverfahren dagegen sind daten‑effizient und leichtgewichtig, leiden aber häufig unter langsamer Konvergenz. Lernoptimierer versuchen, die Vorteile beider Welten zu vereinen, konzentrieren sich jedoch bislang überwiegend auf first‑order‑Methoden, während second‑order‑Ansätze weitgehend unerforscht bleiben.

Wir stellen einen neuartigen, lernbaren second‑order‑Optimierer vor, der das klassische Symmetric‑Rank‑One (SR1) Verfahren um eine trainierbare Preconditioning‑Einheit erweitert. Diese Einheit erzeugt datengetriebene Vektoren, aus denen positive semidefinite Rank‑One‑Matrizen konstruiert werden. Durch eine lernte Projektion wird die Sekantenbedingung exakt erfüllt, was die Konvergenz des Optimierers deutlich beschleunigt.

Die Wirksamkeit unseres Ansatzes wurde zunächst in analytischen Experimenten getestet und anschließend auf der realen Aufgabe der Monocular Human Mesh Recovery (HMR) angewendet. In beiden Fällen übertrifft der neue Optimierer bestehende lernbasierte Optimierungsverfahren. Er ist dabei besonders leichtgewichtig, benötigt keine annotierten Daten oder zusätzliche Feinabstimmung und zeigt eine starke Generalisierung, was ihn ideal für die Integration in größere Optimierungs‑Frameworks macht.

Zusammenfassend demonstriert der vorgestellte Lernoptimierer, dass datengetriebenes Preconditioning die Leistung von SR1 erheblich steigern kann. Diese Erkenntnisse eröffnen neue Perspektiven für die Anwendung von second‑order‑Optimierungen in einer Vielzahl von Bereichen.