AIMER: Kalibrierungsfreies MoE‑Pruning ohne Aufgabenabhängigkeit

Die neuesten Mixture‑of‑Experts‑Modelle (MoE) erhöhen die Parameter­kapazität, ohne dass die Berechnungs­kosten pro Token proportional steigen. Dennoch müssen bei der Bereitstellung alle Experten gespeichert werden, was Speicherbedarf und Service‑Kosten in die Höhe treibt. Deshalb gewinnt das Pruning von Experten zunehmend an Bedeutung.

Aktuelle, auf Aufgabenunabhängigkeit ausgelegte Pruning‑Methoden beruhen meist auf Kalibrierungs­sets. Sie schätzen die Wichtigkeit der Experten aus Routen‑ oder Aktivierungsstatistiken, was die Ergebnisse stark von der gewählten Kalibrierungs­probe abhängen lässt und zusätzliche Vorverarbeitungs­kosten verursacht.

Mit AIMER – dem „Absolute mean over root mean square Importance for Expert Ranking“ – wird dieses Problem elegant gelöst. Der Ansatz ist völlig kalibrierungsfrei und liefert klare Score‑Trennungen innerhalb jeder Schicht sowie eine eindeutige Experten‑Stratifikation.

In umfangreichen Tests mit 7 B bis 30 B MoE‑Modellen, bei 25 % und 50 % Pruning‑Raten über 16 Benchmarks, übertrifft AIMER konsequent die führenden, kalibrierungsbasierten Baselines. Dabei benötigt die Bewertung der Experten lediglich 0,22 bis 1,27 Sekunden.