FlashCache: Frequenzdomänen-basierte KV-Cache-Kompression für multimodale LLMs

Multimodale große Sprachmodelle stoßen bei der Inferenz auf erhebliche Engpässe, weil ihr KV‑Cache proportional zur Länge der visuellen Eingabe wächst. Traditionelle Kompressionsansätze reduzieren den Cache vor allem über Aufmerksamkeitswerte, sind jedoch mit effizienten Kerneln wie FlashAttention nicht kompatibel und berücksichtigen die Wertevektoren nicht.

In einer neuen Studie wird die Verteilung der KV‑Matrix im Frequenzbereich untersucht. Dabei zeigt sich, dass die Energie der KV‑Matrizen überwiegend in niedrigen Frequenzen konzentriert ist. Durch einen Tiefpassfilter wird diese Hauptenergie extrahiert. Das Entfernen von KV‑Paaren, die stark von dieser Hauptenergie abweichen, führt zu einem deutlichen Leistungsabfall – diese „Outlier‑KVs“ tragen entscheidend zur Inferenz bei.

Auf dieser Erkenntnis aufbauend präsentiert das Team FlashCache, ein Frequenzdomänen‑gesteuertes, Outlier‑KV‑bewusstes Kompressionsframework. Ein Outlier‑KV‑Erkennungsmodul modelliert die Hauptkomponente der KV‑Matrizen im Frequenzbereich und speichert bevorzugt die stark abweichenden Paare. Zusätzlich passt ein dynamischer Budget‑Allokationsmechanismus die KV‑Cache‑Größe pro Schicht an, um mehr Outlier‑KVs zu erhalten.

Experimentelle Ergebnisse auf mehreren multimodalen LLMs und Benchmarks zeigen, dass FlashCache die führenden Kompressionsmethoden deutlich übertrifft, ohne die Effizienz der Attention‑Kerne zu beeinträchtigen.