XShare: Schnellere MoE-Inferenz durch kollaborative Expertenauswahl

In einer neuen Veröffentlichung auf arXiv (2602.07265v1) stellen die Autoren XShare vor – ein Verfahren, das die Effizienz von Mixture-of-Experts (MoE)-Modellen in der Praxis deutlich steigert. MoE-Architekturen sind mittlerweile Standard, um große Sprachmodelle kostengünstig zu skalieren. Doch in der produktiven Inferenz führen Batch‑Verarbeitung und spekulatives Decodieren dazu, dass immer mehr Experten aktiviert werden, was die erwarteten Leistungsgewinne zunichte macht.

XShare löst dieses Problem, indem es die Auswahl der Experten für einen Batch als modulare Optimierungsaufgabe modelliert. Durch clever gestaltete, greedy‑Algorithmen kann das System für verschiedene Deployment‑Szenarien – sei es in einer Expert‑Parallel‑Umgebung oder bei spekulativem Decodieren – die optimale Expertenauswahl bestimmen, ohne dass das Modell neu trainiert werden muss. Das Verfahren passt sich dynamisch an jeden Batch an und maximiert dabei die Gesamtscore‑Werte der aktivierten Experten.

Die Ergebnisse sind beeindruckend: Unter Standard‑Batching reduziert XShare die Aktivierung der Experten um bis zu 30 %. In Expert‑Parallel‑Deployments kann die Spitzenlast der GPUs um das Dreifache gesenkt werden, während bei spekulativem Decodieren ein Durchsatzgewinn von bis zu 14 % erzielt wird – selbst wenn die Anfragen in einem Batch aus heterogenen Datensätzen stammen. Damit bietet XShare eine praktikable Lösung, um die Skalierbarkeit von MoE‑Modellen in realen Anwendungen zu erhöhen, ohne zusätzliche Trainingskosten zu verursachen.