FlashMoE: SSD-Cache für Mixture-of-Experts auf Edge-Geräten optimiert

Die neueste Forschung im Bereich der großen Sprachmodelle zeigt, dass Mixture-of-Experts (MoE) dank ihrer sparsamen Aktivierung selbst auf Geräten mit begrenztem Speicher effizient eingesetzt werden können. Traditionelle Systeme wie Fiddler oder DAOP nutzen jedoch DRAM-basierte Offloading-Strategien, die bei Modellen, die inzwischen mehrere Hundert Gigabyte erreichen, unpraktisch werden.

FlashMoE löst dieses Problem, indem es inaktive Experten auf SSDs auslagert. Durch eine leichtgewichtige, maschinelles Lernen basierte Cache-Strategie, die sowohl die Aktualität als auch die Häufigkeit von Zugriffsereignissen berücksichtigt, wird die Wiederverwendung von Experten maximiert und die Speicher‑I/O stark reduziert.

In einer realen Desktop‑Umgebung konnte FlashMoE die Cache‑Hit‑Rate um bis zu 51 % gegenüber klassischen LRU‑ und LFU‑Methoden steigern und die Ausführungszeit im Vergleich zu bestehenden MoE‑Inference‑Systemen um bis zu 2,6‑fach verkürzen. Damit beweist die Lösung, dass leistungsfähige MoE‑Inference auch auf ressourcenbeschränkten Edge‑Geräten realisierbar ist.