Effiziente Steuerung von Diffusionsmodellen ohne Gradienten

Eine neue Methode ermöglicht die gezielte Steuerung unbedingter Diffusionsmodelle, ohne dass während der Inferenz Gradienten berechnet werden müssen. Damit wird die bisher notwendige Re‑Training‑Phase oder die aufwändige Berechnung von Gradienten pro Schritt umgangen.

Traditionell erfordern Ansätze wie klassifikatorbasierte Guidance oder konditionierte Trainingsläufe erhebliche Rechenressourcen. Diese Verfahren sind nicht nur zeitintensiv, sondern erhöhen auch die Kosten für die Generierung von Bildern.

Die vorgestellte Technik stützt sich auf zwei zentrale Beobachtungen der Diffusionsmodellstruktur. Erstens kann bereits in den frühesten, stark verrauschten Stufen eine grobe semantische Steuerung mit einem leichtgewichtigen, offline berechneten Signal erfolgen – ein Konzept, das als „Rauschausrichtung“ bezeichnet wird. Zweitens bleibt ein einmal erlernter Konzeptvektor im Aktivationsraum über verschiedene Zeitpunkte und Stichproben hinweg konsistent. Dieser Vektor kann bei mittleren Rauschstufen eingesetzt werden, um die Kontrolle zu verfeinern, ohne zusätzliche Berechnungen.

Die Identifikation dieser Konzeptvektoren erfolgt über die Recursive Feature Machine (RFM), ein leichtgewichtiges, backpropagation‑freies Lernverfahren. RFM ermöglicht eine effiziente und zuverlässige Erkennung der relevanten Richtungen im Aktivationsraum.

In Experimenten mit CIFAR‑10, ImageNet und CelebA zeigte die Methode eine verbesserte Genauigkeit und Bildqualität im Vergleich zu gradientenbasierten Ansätzen. Gleichzeitig wurden signifikante Beschleunigungen bei der Inferenz erreicht.

Diese Entwicklung eröffnet einen vielversprechenden Weg zu schnellen, kontrollierbaren Bildgenerierungen ohne die üblichen Rechenaufwände. Sie dürfte insbesondere in Anwendungen mit begrenzten Ressourcen oder Echtzeit-Anforderungen von großem Nutzen sein.