MoE-Offloading: Neue Caching‑Strategien und Pre‑Fetching steigern Effizienz
Die Mixture‑of‑Experts‑Architektur (MoE) ist heute ein zentraler Baustein der fortschrittlichsten KI‑Modelle. Durch ihre besondere Struktur benötigen MoE‑Modelle jedoch deutlich mehr Speicher als ihre dichten Gegenstücke, was die Bereitstellung auf Geräten mit begrenztem GPU‑Speicher erschwert.
