Curriculum Sampling beschleunigt Flow Matching – FID auf 3,22

In einem brandneuen Beitrag auf arXiv wird ein innovatives Verfahren vorgestellt, das die Trainingsgeschwindigkeit von Flow‑Matching‑Modellen deutlich erhöht. Der Schlüssel liegt in der Art und Weise, wie die Zeitschritte (timestep) während des Lernprozesses ausgewählt werden.

Traditionell setzen viele Forscher auf statische, mittlere‑bias‑Verteilungen wie Logit‑Normal, um die Konvergenz zu beschleunigen. Die Autoren zeigen jedoch, dass diese Vorgehensweise zu einem klassischen Speed‑Quality‑Trade‑off führt: Während die Modelle schneller erste Strukturen erlernen, bleibt die Endqualität hinter dem Ziel zurück. Durch die Analyse der Verlustkurven pro Zeitschritt entdecken sie ein U‑förmiges Schwierigkeitsprofil, bei dem die Randbereiche – die Anfangs- und Endzeitschritte – besonders anfällig für Fehler sind. Unterrepräsentiert diese Bereiche bleiben feine Details unvollständig.

Auf Basis dieser Erkenntnisse schlagen die Forscher „Curriculum Sampling“ vor, ein zweiphasiges Sampling‑Schema. Zunächst wird mit einer mittleren‑bias‑Verteilung gearbeitet, um die Grundstruktur rasch zu erlernen. Anschließend wechselt das Modell zu einer Uniform‑Verteilung, die die Randbereiche gezielt verfeinert. Dieses adaptive Curriculum ermöglicht es, die Lernkurve zu optimieren, ohne die Endqualität zu opfern.

Die Ergebnisse auf dem Benchmark‑Datensatz CIFAR‑10 sind beeindruckend: Das neue Verfahren reduziert den besten FID-Wert von 3,85 (Uniform) auf 3,22 und erreicht die Spitzenleistung bereits nach 100 000 Trainingsschritten statt nach 150 000. Diese Befunde unterstreichen, dass die Auswahl der Zeitschritte nicht als statischer Hyperparameter, sondern als dynamisches Lerncurriculum betrachtet werden sollte.