Neue Strategien verbessern Inferenzzeit‑Skalierung von Diffusionsmodellen

Die Inferenzzeit‑Skalierung hat bei Sprachmodellen große Erfolge erzielt, doch ihre Anwendung auf Diffusionsmodelle bleibt bislang wenig erforscht. Forscher haben festgestellt, dass die Wirksamkeit aktueller Sequential‑Monte‑Carlo‑Methoden (SMC) vor allem darauf beruht, die belohnungsgewichtete Verteilung global anzupassen – ein Ansatz, der die Vielfalt bei mehrmodalen Suchen bewahrt.

Ein zentrales Problem besteht darin, dass frühe Stufen des Rauschens ein hohes Verbesserungspotenzial besitzen, sich aber schwer genau bewerten lassen. Spätere Stufen lassen sich zuverlässig beurteilen, sind jedoch weitgehend irreversibel. Um dieses Exploration‑Exploitation‑Dilemma zu lösen, wurden zwei neue Strategien entwickelt: der Funnel‑Schedule und die Adaptive Temperature. Beide Methoden sind speziell auf die einzigartigen Generationsdynamiken und Phasenwechsel von Diffusionsmodellen zugeschnitten.

Durch schrittweise Reduktion der gehaltenen Partikelzahl und Abschwächung der Einflüsse frühzeitiger Belohnungen steigern die neuen Ansätze die Stichprobenqualität erheblich, ohne die Gesamtzahl der Noise‑Funktionsauswertungen zu erhöhen. Experimente auf mehreren Benchmarks sowie bei führenden text‑zu‑Bild‑Diffusionsmodellen zeigen, dass diese Techniken die bisherigen Baselines deutlich übertreffen.