Preconditioning verbessert Flow-Matching-Training durch bessere Konditionierung

Ein neues Papier auf arXiv beleuchtet, wie die Geometrie der Zwischendichten in Flow‑Matching‑ und score‑basierten Diffusionsmodellen die Optimierung maßgeblich beeinflusst.

Die Autoren zeigen, dass die Kovarianzmatrix Σₜ der Zwischendichte die Optimierungsbias steuert. Ist Σₜ schlecht konditioniert, lernt das Modell schnell hochvariante Richtungen, während niedrigvariante Modi vernachlässigt werden – ein Effekt, der zu suboptimalen Plateaus führt.

Zur Lösung schlagen sie reversible, label‑conditional Preconditioning‑Maps vor, die die Geometrie von pₜ neu formen, indem sie die Konditionierung von Σₜ verbessern, ohne das generative Modell zu verändern.

Durch Experimente mit MNIST und hochauflösenden Datensätzen demonstrieren die Autoren, dass Preconditioning die Optimierung stabilisiert, das Training weiter vorantreibt und letztlich bessere Modelle liefert, indem es die Gefahr von Plateaus reduziert.