Schnelle Likelihood‑Bewertung in Flow‑Modellen dank Joint Distillation

Ein neues Verfahren namens F2D2 (Fast Flow Joint Distillation) reduziert die Anzahl der benötigten neuronalen Funktionsauswertungen (NFEs) für die Likelihood‑Bewertung und das Sampling in Flow‑basierten generativen Modellen um zwei Größenordnungen. Durch die gemeinsame Nutzung des zugrunde liegenden Geschwindigkeitsfeldes können Sampling‑Trajektorien und kumulative Divergenzen gleichzeitig distilliert werden, was bisher nur mit aufwendiger Integration möglich war.

F2D2 ist modular aufgebaut und lässt sich nahtlos in bestehende Few‑Step‑Sampling‑Modelle integrieren. Der Ansatz erfordert lediglich einen zusätzlichen Divergenz‑Vorhersagekopf, wodurch die Komplexität minimal bleibt. In Experimenten zeigte sich, dass die Methode präzise Log‑Likelihood‑Werte liefert, während gleichzeitig die Qualität der generierten Samples erhalten bleibt.

Mit F2D2 wird ein langjähriges Rechenengpasse in Flow‑basierten Modellen gelöst und eröffnet neue Möglichkeiten für schnelle Modellvergleiche, feine Abstimmungsziele und vielfältige Anwendungen. Zusätzlich wird ein leichtgewichtiges Self‑Guidance‑Konzept vorgestellt, das die Leistungsfähigkeit der Modelle weiter steigern soll.