KI News: Kurz und klar.

Die Forschung auf arXiv (2602.07189v1) präsentiert Latent Target Score Matching (LTSM), eine Weiterentwicklung des Target Score Matching (TSM), die speziell für Diffusionsmodelle bei niedrigen Rauschstufen entwickelt wurde. Während das klassische Denoising Score Matching (DSM) oft mit hoher Varianz kämpft, wenn das Rauschen gering ist, bietet LTSM ein stabileres Lernziel, indem es die vorhandenen gemeinsamen Signale nutzt, um die marginalen Scores präziser zu schätzen.

In der Welt der kontinuierlichen Generativmodelle – darunter Diffusionsmodelle, Flow‑Matching und rectified Flow – werden zeitabhängige Vektorfelder gelernt. Diese Modelle werden jedoch häufig mit Zielsetzungen trainiert, die die Zeitschritte als unabhängige Einheiten behandeln. Das führt zu hoher Schätzervarianz und ineffizientem Sampling.

Eine brandneue Technik namens Dimensional Peeking verspricht, die Effizienz von zeroth-order Optimierungsverfahren in diskreten, hochdimensionalen Räumen drastisch zu steigern. Durch die gezielte Reduktion der Varianz bei Gradienten­schätzern kann die Konvergenz deutlich beschleunigt werden.

In der Welt der großen Sprachmodelle (LLMs) hat sich das Feintuning mit zeroth‑order (ZO) Optimierung als vielversprechende Alternative zu herkömmlichen, gradientenbasierten Verfahren etabliert. Der Hauptvorteil liegt in einem deutlich geringeren Speicherbedarf, was besonders bei ressourcenintensiven Modellen von Bedeutung ist. Doch bisherige ZO‑Methoden leiden unter hoher Varianz bei der Gradientenabschätzung, was zu langsamer Konvergenz und suboptimalen Ergebnissen führt.

In einer aktuellen Veröffentlichung auf arXiv wird die Konvergenz des Lion‑Optimierers detailliert untersucht. Unter den üblichen Annahmen erreicht der Standard‑Lion eine Rate von O(d¹ᐟ² T⁻¹ᐟ⁴), wobei d die Problem­dimension und T die Iterationszahl bezeichnet. Durch die Einführung einer Varianz‑Reduktion verbessert sich die Rate auf O(d¹ᐟ² T⁻¹ᐟ³).