MoE‑Spec: Expertenbudgetierung steigert Effizienz von spekulativem Decoding

Die neueste Veröffentlichung auf arXiv (2602.16052v1) präsentiert MoE‑Spec, eine innovative Methode zur Optimierung des spekulativen Decodings bei Mixture‑of‑Experts‑Modellen. Spekulatives Decoding beschleunigt die Inferenz von großen Sprachmodellen, indem mehrere vorgeschlagene Tokens gleichzeitig überprüft werden. Bei MoE‑Modellen führt diese Parallelität jedoch zu einem erheblichen Engpass: Große Draft‑Bäume aktivieren zahlreiche einzigartige Experten, was den Speicherbedarf stark erhöht und die erwarteten Geschwindigkeitsvorteile reduziert.

Frühere Ansätze haben die Spekulationstiefe reduziert, sobald die Überprüfung von MoE‑Experten zu teuer wurde. MoE‑Spec geht einen Schritt weiter, indem es ein trainingsfreies Budgetierungsverfahren einführt, das die Spekulationstiefe von den Speicherkosten entkoppelt. Durch die Festlegung einer festen Expertenkapazität pro Schicht werden nur die Experten geladen, die am meisten zur Verifikation beitragen, während selten genutzte Experten, die Bandbreite belasten, ausgelassen werden.

Experimentelle Ergebnisse über verschiedene Modellgrößen und Datensätze hinweg zeigen, dass MoE‑Spec die Durchsatzrate um 10 – 30 % gegenüber dem aktuellen Stand der Technik (EAGLE‑3) steigert, ohne die Qualität zu beeinträchtigen. Darüber hinaus bietet die Methode die Flexibilität, Genauigkeit für zusätzliche Latenzreduktionen zu opfern, indem engere Budgets eingesetzt werden.