ICaRus: Gemeinsame KV-Caches steigern Effizienz bei Multi-Model-Inferenz

In der heutigen KI-Landschaft gewinnt die gleichzeitige Ausführung mehrerer Sprachmodelle immer mehr an Bedeutung. Dabei entsteht ein großes Problem: jedes Modell erzeugt für denselben Eingabetext einen eigenen Key‑Value‑Cache (KV‑Cache). Diese individuellen Caches füllen den Speicher rasch, sodass Systeme gezwungen sind, alte Caches zu evictieren. Das führt zu erheblichem Rechenaufwand, wenn die evakuierten Daten später erneut benötigt werden.

Die neue Architektur ICaRus löst dieses Problem, indem sie die KV‑Caches aller Modelle gemeinsam nutzt. Der Ansatz beruht auf der Erkenntnis, dass ein Decoder‑Only‑Transformer in einen logischen Encoder (der die KV‑Caches erzeugt) und einen logischen Decoder (der die Ausgaben generiert) zerlegt werden kann. Durch das Einfrieren des Encoders und das Feintuning des Decoders können mehrere Modelle denselben KV‑Cache verwenden, ohne dass die Modellarchitektur verändert werden muss.

Durch die gemeinsame Nutzung der KV‑Caches werden Speicherplatz und Rechenressourcen drastisch reduziert. Gleichzeitig entfällt die Notwendigkeit, Caches zu evictieren, und die Modelle können bereits vorhandene KV‑Caches für neue Eingaben wiederverwenden. Ergänzt wird ICaRus durch leichte Adapter wie LoRA, die die Parallelisierung der KV‑Cache‑Erzeugung und der nächsten Token‑Vorhersage ermöglichen. Das Ergebnis ist eine deutlich effizientere und skalierbarere Multi‑Model‑Inference, die sowohl die Kosten senkt als auch die Performance steigert.