Effiziente Blockentfernung bei großen Sprachmodellen: Optimierung mit Ising-Modell

Die Reduktion ressourcenintensiver Sprachmodelle durch das Entfernen ganzer Transformer‑Blöcke klingt zunächst simpel, ist jedoch ein exponentiell schwieriges Kombinationsproblem. In der neuen Studie wird dieses Problem als konstrahiertes binäres Optimierungsmodell formuliert, das direkt auf ein physikalisches Ising‑System abgebildet werden kann. Die Energiewerte des Modells dienen dabei als starkes Indiz für die spätere Modellleistung.

Durch diese Abbildung lässt sich eine große Menge möglicher Block‑Entfernungskonfigurationen effizient bewerten und ranken. Das Verfahren liefert nicht nur aufeinanderfolgende Blockgruppen, sondern auch komplexere, nicht‑konsekutiv verteilte Lösungen, die sich als besonders leistungsfähig erweisen.

In umfangreichen Benchmarks übertrifft die Methode die aktuellen Block‑Entfernungstechniken deutlich. Die erzielten Verbesserungen bleiben auch nach kurzer Retraining‑Phase bestehen und erreichen bis zu sechs Punkte Aufwertung beim MMLU‑Benchmark.

Der Ansatz erfordert lediglich Vorwärts‑ und Rückwärtsdurchläufe für wenige aktive Parameter sowie einen (auch approximativen) Ising‑Solver. Dadurch ist er leicht auf beliebige Architekturen übertragbar. Als Beispiel demonstriert die Arbeit die Vielseitigkeit an dem NVIDIA‑Nemotron‑3‑Nano‑30B‑A3B‑FP8‑Modell, das eine stark heterogene Blockstruktur aufweist.