MoE auf dem Edge: Wichtigkeitsbasiertes Expert Scheduling senkt Latenz um 48 %

Die neueste Veröffentlichung auf arXiv (2508.18983v1) zeigt, wie die Mixture-of-Experts-Architektur auf consumer‑grade Edge‑Hardware gebracht werden kann, indem Experten dynamisch ausgelagert und durch gleichwertige, bereits im GPU‑Cache vorhandene ersetzt werden. Durch die Berücksichtigung der Experten‑Wichtigkeit wird die Genauigkeit erhalten, während Speicherbedarf und Datenverkehr reduziert werden. Das Ergebnis: 48 % schnellere Decodierung, über 60 % Cache‑Hit‑Rate und nahezu verlustfreie Genauigkeit.

Die Autoren stellen zudem eine neue Scheduling‑Strategie vor, die die Wiederverwendung von GPU‑gecachten Experten maximiert und damit die Effizienz weiter steigert. Die umfangreichen Tests belegen, dass die Methode sowohl die Latenz als auch den PCIe‑Overhead drastisch senkt, ohne die Modellleistung zu beeinträchtigen.