Tail‑Aware Flow Fine‑Tuning: Effiziente Optimierung von Diffusionsmodellen

In der Praxis ist das Feintuning vortrainierter Diffusions‑ und Flussmodelle entscheidend, um spezifische Aufgaben zu erfüllen. Traditionelle Methoden, die sich auf die Maximierung des erwarteten Nutzens konzentrieren, lassen jedoch die Kontrolle über die Extremwerte (Tail‑Verhalten) außen vor – ein Aspekt, der für Zuverlässigkeit und Entdeckung gleichermaßen wichtig ist.

Die neue Technik Tail‑Aware Flow Feintuning (TFFT) nutzt die Conditional Value‑at‑Risk (CVaR) – ein etabliertes Maß für die Bewertung von Extrema – um gezielt die rechte und linke Seite der Verteilung zu steuern. Durch die Anwendung einer variationalen Dualformulierung wird CVaR in einen zweistufigen, leichtgewichtigen Prozess zerlegt: zunächst wird ein ein‑dimensionaler Schwellenwert optimiert, anschließend erfolgt das eigentliche Feintuning mittels eines speziellen Pseudo‑Belohnungen unter Berücksichtigung von Entropie.

Diese Aufteilung ermöglicht eine effiziente Umsetzung, die im Rechenaufwand mit herkömmlichen Erwartungs‑Feintuning‑Methoden vergleichbar ist, jedoch gleichzeitig die gewünschten Tail‑Eigenschaften präzise anpasst. TFFT wurde erfolgreich in einer Reihe von Experimenten demonstriert, darunter hochdimensionale Text‑zu‑Bild‑Generierung und die Gestaltung von Molekülen, und zeigte dabei signifikante Verbesserungen in der Erzeugung seltener, hochbelohnender Stichproben sowie in der Kontrolle von Worst‑Case‑Szenarien.