MoE-Offloading: Neue Caching‑Strategien und Pre‑Fetching steigern Effizienz

Die Mixture‑of‑Experts‑Architektur (MoE) ist heute ein zentraler Baustein der fortschrittlichsten KI‑Modelle. Durch ihre besondere Struktur benötigen MoE‑Modelle jedoch deutlich mehr Speicher als ihre dichten Gegenstücke, was die Bereitstellung auf Geräten mit begrenztem GPU‑Speicher erschwert.

In einer neuen Analyse von arXiv:2511.05814v1 wird das Offloading von MoE‑Modellen eingehend untersucht. Die Autoren untersuchen die Aktivierung der Experten und das Verhalten von LRU‑Caching im Detail und stellen umfangreiche Traces zur Verfügung.

Auf Basis dieser Erkenntnisse schlagen die Forscher eine LFU‑Caching‑Optimierung vor, die die Leistung deutlich über dem herkömmlichen LRU‑Ansatz hinaus verbessert. Die Ergebnisse zeigen, dass LFU die Cache‑Hit‑Rate signifikant erhöht und somit die Speicherbelastung reduziert.

Darüber hinaus implementieren die Autoren ein spekulatives Pre‑Fetching für Experten und demonstrieren mit detaillierten Traces das enorme Potenzial dieser Technik. Durch das frühzeitige Laden der benötigten Experten kann die Latenz weiter gesenkt werden.

Die Studie liefert zudem umfassende Einblicke in die Funktionsweise der MoE‑Architektur selbst, einschließlich der Eigenschaften des Gate‑Netzwerks und der einzelnen Experten. Diese Erkenntnisse können zukünftige Arbeiten zur Interpretation von MoE‑Modellen sowie zur Entwicklung sparsamer Pruning‑Techniken mit minimalem Leistungsverlust inspirieren.