FourierMoE: Frequenzbasierte Expertenarchitektur verbessert LLM‑Anpassung

Die Anpassung großer Sprachmodelle (LLMs) unter begrenzten Rechenressourcen wird zunehmend durch Parameter‑Effizientes Fine‑Tuning (PEFT) vorangetrieben. In Multi‑Task‑Umgebungen jedoch führen unterschiedliche Optimierungsziele zu Interferenzen, während ein knapper Parameter‑Budget die Repräsentationsfähigkeit einschränkt. Traditionelle PEFT‑Methoden, die häufig Mixture‑of‑Experts (MoE) im räumlichen Bereich einsetzen, erzeugen dabei strukturelle Redundanz und zusätzlichen Parameter‑Overhead.

Um diese Grenzen zu überwinden, hat ein neues Verfahren namens FourierMoE die Anpassung in den Frequenz‑Domänen neu definiert. Eine spektrale Analyse zeigt, dass verschiedene Aufgaben unterschiedliche Frequenz‑Energie‑Verteilungen aufweisen und dass LLM‑Schichten heterogene Frequenz‑Sensitivitäten besitzen. Diese Erkenntnisse bilden die Grundlage für eine frequenz‑bewusste Architektur.

FourierMoE kombiniert die MoE‑Struktur mit der inversen diskreten Fourier‑Transformation (IDFT). Ein frequenz‑adaptiver Router weist Tokens an Experten zu, die jeweils auf spezifische Frequenzbänder spezialisiert sind. Jeder Experte lernt ein Set konjugiert‑symmetrischer komplexer Koeffizienten, wodurch die vollständige Phasen‑ und Amplitudeninformation erhalten bleibt und die IDFT theoretisch eine verlustfreie Rekonstruktion in reale räumliche Gewichte garantiert.

Umfangreiche Tests über 28 Benchmarks, verschiedene Modellarchitekturen und Größenordnungen zeigen, dass FourierMoE in Ein‑ und Mehr‑Task‑Szenarien konsequent die führenden Baselines übertrifft. Das Verfahren demonstriert damit, dass eine spektrale Perspektive die Effizienz und Leistungsfähigkeit von PEFT‑Methoden erheblich steigern kann.