FLUX: Federiertes Feintuning sparsamer LLMs auf ressourcenbeschränkten Geräten

Das neue System FLUX löst ein langjähriges Problem im Bereich der künstlichen Intelligenz: Das federierte Feintuning von Mixture-of-Experts (MoE)-basierten großen Sprachmodellen (LLMs) auf Geräten mit begrenzten Rechenressourcen. Traditionelle Ansätze wie Quantisierung, Rechenoffloading oder das Entfernen ganzer Experten führen häufig zu unzureichender Leistung, weil sie die speziellen Eigenschaften von MoE-Modellen vernachlässigen.

FLUX setzt auf drei zentrale Innovationen. Erstens nutzt es eine quantisierungbasierte lokale Profilierung, um die Aktivierung der Experten mit minimalem Overhead abzuschätzen. Zweitens führt es ein adaptives, schichtsensitives Mergen von Experten ein, das den Ressourcenverbrauch reduziert, ohne die Genauigkeit zu beeinträchtigen. Drittens verteilt das System die Rollen der Experten dynamisch über eine explorations- und ausnutzungsbasierte Strategie, sodass gleichzeitig feintuned und nicht feintuned Experten ausgewogen eingesetzt werden.

Um die Wirksamkeit zu prüfen, wurden umfangreiche Experimente mit den Modellen LLaMA‑MoE und DeepSeek‑MoE auf mehreren Benchmark‑Datensätzen durchgeführt. Die Ergebnisse zeigen, dass FLUX die Zeit bis zur gewünschten Genauigkeit im Vergleich zu bestehenden Methoden um bis zu 4,75‑mal verkürzt. Damit eröffnet das System neue Möglichkeiten für die praktische Anwendung großer Sprachmodelle auf alltäglichen Geräten.