Mixture of Experts zeigen robuste Leistung bei verrauschten Features
Anzeige
Ein neues arXiv‑Papier beleuchtet, warum Mixture of Experts (MoE) Modelle trotz gleicher Parameterzahl besser abschneiden als dichte Netzwerke. In einer kontrollierten Umgebung, in der Eingaben modulare Strukturen besitzen, aber mit Feature‑Rauschen belegt sind, wird gezeigt, dass die gezielte Aktivierung sparsamer Experten als effektiver Rauschfilter wirkt.
Im Vergleich zu dichten Schätzern erzielen MoEs geringere Generalisierungsfehler, höhere Robustheit gegenüber Störungen und beschleunigen die Konvergenz. Sowohl synthetische Experimente als auch reale Sprachaufgaben bestätigen die theoretischen Erkenntnisse und demonstrieren konsequente Effizienz‑ und Robustheitsgewinne durch modulare, sparsante Berechnungen.
Ähnliche Artikel
arXiv – cs.LG
•
DFedReweighting: Zielorientierte Gewichtung im dezentralen Federated Learning
arXiv – cs.LG
•
Quantenparallelmodell revolutioniert Alzheimer‑Diagnose mit MRT
arXiv – cs.LG
•
SHAP‑Erklärungen enthüllen, wie Anomalie‑Erkennungs‑Ensembles besser funktionieren
arXiv – cs.LG
•
LLM-gesteuerte Diffusion verbessert Zeitreihen‑Vorhersagen bei wenigen Daten
arXiv – cs.LG
•
Wie Unsicherheit in ML die Robustheit von Gegenfaktischen Erklärungen beeinflusst
MarkTechPost
•
NVIDIA stellt Nemotron-3-Nano-30B in NVFP4 mit QAD für effiziente Inferenz vor