Temporal Pair Consistency: Neue Methode reduziert Varianz in Flow‑Matching‑Modellen
In der Welt der kontinuierlichen Generativmodelle – darunter Diffusionsmodelle, Flow‑Matching und rectified Flow – werden zeitabhängige Vektorfelder gelernt. Diese Modelle werden jedoch häufig mit Zielsetzungen trainiert, die die Zeitschritte als unabhängige Einheiten behandeln. Das führt zu hoher Schätzervarianz und ineffizientem Sampling.
Frühere Ansätze haben versucht, dieses Problem zu mildern, indem sie explizite Glattheitspenalties, Trajektorienregulierung oder modifizierte Wahrscheinlichkeitspfade und Solver einsetzten.
Die neue Technik namens Temporal Pair Consistency (TPC) bietet einen leichten, aber wirkungsvollen Weg, die Varianz zu reduzieren. TPC koppelt die Geschwindigkeitsvorhersagen an gepaarten Zeitschritten entlang derselben Wahrscheinlichkeitstrajektorie. Dabei wird ausschließlich auf Ebene des Estimators gearbeitet – weder die Modellarchitektur noch der Pfad oder der Solver werden verändert.
Eine theoretische Analyse zeigt, dass TPC eine quadratische, trajektorien‑gekoppelte Regularisierung einführt, die die Gradientenvarianz nachweislich senkt und gleichzeitig das ursprüngliche Flow‑Matching‑Ziel erhält.
In praktischen Tests verbessert TPC die Bildqualität und Effizienz bei CIFAR‑10 und ImageNet in mehreren Auflösungen. Die Modelle erreichen niedrigere FID‑Werte bei identischer oder sogar geringerer Rechenkosten im Vergleich zu bisherigen Methoden.
Darüber hinaus lässt sich TPC nahtlos in moderne, SOTA‑Stil‑Pipelines integrieren, die noise‑augmented Training, score‑basierte Denoising und rectified Flow nutzen.