FlashCache: Frequenzdomänen-basierte KV-Cache-Kompression für multimodale LLMs
Multimodale große Sprachmodelle stoßen bei der Inferenz auf erhebliche Engpässe, weil ihr KV‑Cache proportional zur Länge der visuellen Eingabe wächst. Traditionelle Kompressionsansätze reduzieren den Cache vor allem über Aufmerksamkeitswerte, sind jedoch mit effizienten Kerneln wie FlashAttention nicht kompatibel und berücksichtigen die Wertevektoren nicht.
