Deterministische Sampler in Diffusionsmodellen: Entdeckung von Kollapsfehlern

In der Forschung zu Diffusionsmodellen (DMs) wird seit langem der Einsatz deterministischer Sampler als Standardpraxis betrachtet. Neue Untersuchungen zeigen jedoch, dass diese Methode ein bislang unbekanntes Problem aufweist: die sogenannten Kollapsfehler. Dabei konzentriert sich die erzeugte Stichprobe zu stark in bestimmten Bereichen des Datenraums, was die Vielfalt der generierten Ergebnisse stark einschränkt.

Um dieses Phänomen zu quantifizieren, wurde ein neues Messkriterium entwickelt. Die Analyse verdeutlicht, dass Kollapsfehler in einer Vielzahl von Konfigurationen auftreten, unabhängig von den spezifischen Modellparametern. Die Ursache liegt in einem Wechselspiel zwischen dem Score-Lernen bei niedriger Rauschstufe und der Fehlanpassung bei hoher Rauschstufe. Dieses Missverhältnis, kombiniert mit den dynamischen Eigenschaften deterministischer Sampler, führt letztlich zu den beobachteten Kollapsfehlern.

Auf Basis dieser Erkenntnisse wurden bewährte Techniken aus den Bereichen Sampling, Training und Architektur angewendet, um die Hypothese zu untermauern. Die Ergebnisse liefern robuste empirische Belege dafür, dass Kollapsfehler ein reales Problem in ODE‑basierten Diffusionssamplern darstellen. Dieser Befund unterstreicht die Notwendigkeit weiterer Untersuchungen zum Zusammenspiel von Score-Lernen und deterministischer Sampling‑Strategie – ein bislang übersehener, aber wesentlicher Aspekt der Diffusionsmodelle.