MoE‑SpeQ: Spekulatives Quantisierung‑Decoding mit proaktivem Expert‑Prefetching

Die neuesten Mixture‑of‑Experts‑Modelle fordern enorme Speicherressourcen, die oft die Kapazität eines einzelnen Beschleunigers sprengen. Traditionell werden die Experten in den Host‑Speicher ausgelagert, was jedoch einen gravierenden I/O‑Flaschenhals über die PCIe‑Bus‑Verbindung verursacht. Der neue Ansatz MoE‑SpeQ löst dieses Problem, indem er ein kleines, on‑device‑Draft‑Modell einsetzt, das die benötigten Experten für kommende Tokens vorhersagt. Durch diese Vorhersage kann ein Laufzeit‑Orchestrator die entsprechenden Experten bereits vorab aus dem Host‑Speicher holen und die teure Datenübertragung mit nützlicher Rechenarbeit überlappen.

Um die Leistung weiter zu optimieren, steuert ein adaptiver Governor, der auf einem Amortisations‑Roofline‑Modell basiert, die Spekulationsstrategie dynamisch an die jeweilige Hardware an. In Tests auf speicherbeschränkten Geräten konnte MoE‑SpeQ für das Phi‑MoE‑Modell einen Geschwindigkeitszuwachs von bis zu 2,34‑fach gegenüber dem aktuellen Stand‑der‑Kunst‑Auslagerungs‑Framework erzielen.

Diese Technik stellt einen neuen, prinzipiellen Ansatz für die Handhabung datenabhängiger Speicherzugriffe in ressourcenlimitierten Umgebungen dar. Damit wird die Inferenz von Mixture‑of‑Experts‑Modellen auf handelsüblichen Hardwareplattformen deutlich zugänglicher und effizienter.