Sig-DEG: Schnellere und leichtere Diffusionsmodelle durch Signatur‑basierte Distillation

Die neuesten Fortschritte in der generativen KI zeigen, dass Diffusionsmodelle zwar herausragende Ergebnisse liefern, aber bei der Inferenz oft tausende Diskretisierungsschritte benötigen. Mit Sig‑DEG – einem neuen Generator zur Distillation vortrainierter Diffusionsmodelle – wird dieses Problem angegangen. Sig‑DEG nutzt Signatur‑basierte Hochorder‑Approximationen von stochastischen Differentialgleichungen, um den Rückwärtsprozess der Diffusion bei grober Zeitauflösung exakt zu beschreiben.

Durch die Verwendung partieller Signaturen kann Sig‑DEG die Brownsche Bewegung über Unterintervalle kompakt zusammenfassen. Ein rekurrentes Netzwerk ermöglicht dabei eine präzise globale Approximation der SDE‑Lösung. Die Distillation wird als überwachtes Lernproblem formuliert: Sig‑DEG wird darauf trainiert, die Ausgaben eines feinkörnigen Modells auf einem groben Zeitschema zu replizieren.

Im Inferenzmodus liefert Sig‑DEG schnelle Generationen, da die Signatur‑Terme exakt simuliert werden können, ohne feine Brownian‑Pfad‑Simulationen. Experimente zeigen, dass die Qualität der erzeugten Bilder erhalten bleibt, während die Anzahl der Inferenzschritte um ein Vielfaches reduziert wird. Die Ergebnisse unterstreichen die Wirksamkeit von Signatur‑basierten Approximationen für effizientes generatives Modellieren.