KI News: Kurz und klar.

Ein neues arXiv‑Veröffentlichung (2602.05065v1) beleuchtet die lange diskutierte Frage, ob der klassische Stochastic Gradient Descent (SGD) während des Trainings lieber flache oder scharfe Minima findet. Die Autoren präsentieren ein exakt lösbares Modell, das beiden Verhaltensweisen – Flachheit und Schärfe – gleichzeitig Raum gibt und damit die bisher widersprüchlichen Befunde aufklärt.

In einer neuen Studie wird das Phänomen der „verdächtigen Ausrichtung“ bei Stochastic Gradient Descent (SGD) unter stark ill-konditionierten Optimierungsbedingungen untersucht. Dabei trennt sich das Spektrum der Hessischen Matrix in dominante und Bulk‑Subräume, was die Ausrichtung des Gradienten in den SGD‑Updates stark beeinflusst.

In der Welt der Online-Lernalgorithmen haben Retrieval‑Augmented Models, die parametrierte Vorhersager mit nicht‑parametrischen Erinnerungen kombinieren, bisher kaum in der Praxis für Streaming‑Daten mit sich verändernden Konzepten Anwendung gefunden. Das neue Verfahren RAM‑OL (Retrieval‑Augmented Memory for Online Learning) füllt diese Lücke, indem es einen kleinen Speicher vergangener Beispiele nutzt, um die Modellanpassung in Echtzeit zu verbessern.

Ein neues arXiv-Papier beleuchtet die Dynamik von Optimierungsalgorithmen in tiefen neuronalen Netzen und liefert wichtige Erkenntnisse für die Praxis des maschinellen Lernens.