MeanCache beschleunigt Flow-Matching-Modelle um bis zu 4,56× – neue caching-Strategie

Mit MeanCache wird die Inferenz von Flow‑Matching‑Modellen ohne zusätzliche Trainingsschritte deutlich schneller. Während bisherige Caching‑Ansätze auf sofortigen Geschwindigkeitsdaten basieren und bei stark beschleunigten Flows zu erheblichen Trajektorienabweichungen führen, nutzt MeanCache einen durchschnittlichen Geschwindigkeitsansatz.

Durch das Zwischenspeichern von Jacobian‑Vector‑Products (JVP) kann MeanCache für jedes Intervall einen Mittelwert der Geschwindigkeit bestimmen. Dieser Ansatz reduziert die lokale Fehlerakkumulation erheblich und sorgt für stabilere Pfade, selbst bei hohen Beschleunigungsraten.

Zur weiteren Optimierung der Cache‑Zeitpunkte und der Stabilität der JVP‑Wiederverwendung entwickelt das Team eine Trajektorien‑Stabilitäts‑Planung. Dabei wird ein Peak‑Suppressed Shortest Path unter Budget‑Beschränkungen eingesetzt, um die optimale Cache‑Strategie zu bestimmen.

In Experimenten mit FLUX.1, Qwen‑Image und HunyuanVideo erzielt MeanCache Beschleunigungsfaktoren von 4,12×, 4,56× bzw. 3,59×. Gleichzeitig übertrifft es die führenden Caching‑Baselines in der Bild‑ und Videogenerierung, ohne die Qualität zu beeinträchtigen. Diese Ergebnisse zeigen, dass ein stabilitätsorientierter Ansatz neue Möglichkeiten für die effiziente Inferenz großer generativer Modelle eröffnet.