Neues Framework SDM optimiert Sampling bei Diffusionsmodellen

Diffusionsbasierte Generative Modelle haben in den letzten Jahren beeindruckende Ergebnisse erzielt, doch ihre praktische Anwendung bleibt oft durch hohe Sampling-Kosten eingeschränkt. Traditionelle Ansätze konzentrierten sich auf Trainingsziele oder einzelne Solver, während die komplette Gestaltung des Sampling-Prozesses – insbesondere die Auswahl des Solvers und die Zeitschrittplanung – weiterhin von statischen Heuristiken dominiert wurde.

In der aktuellen Arbeit wird dieses Problem aus geometrischer Sicht neu beleuchtet. Das vorgestellte Framework SDM (Sampling Design via Geometry) richtet den numerischen Solver gezielt auf die inhärenten Eigenschaften der Diffusionskurve aus. Durch die Analyse der ODE-Dynamik wird gezeigt, dass in den frühen, hochrauschigen Phasen effiziente Low‑Order‑Solver ausreichen, während in späteren, stärker nichtlinearen Stufen schrittweise höhere Order‑Solver eingesetzt werden können.

Die Zeitschrittplanung wird dabei formalisiert, indem ein Wasserstein‑beschränktes Optimierungsmodell eingeführt wird. Dieses Modell erzeugt adaptive Zeitschritte, die den lokalen Diskretisierungsfehler explizit begrenzen und damit sicherstellen, dass der Sampling-Prozess den kontinuierlichen Dynamiken treu bleibt. Dabei sind weder zusätzliche Trainingsschritte noch architektonische Änderungen erforderlich.

Die Ergebnisse sind beeindruckend: Auf den Standard-Benchmarks erzielt SDM einen FID‑Wert von 1,93 bei CIFAR‑10, 2,41 bei FFHQ und 1,98 bei AFHQv2 – und das mit deutlich weniger Funktionsauswertungen als bei bestehenden Samplern. Der zugehörige Code ist öffentlich verfügbar unter https://github.com/aiimaginglab/sdm.