MoP: Mixture of Pruners revolutioniert das Komprimieren von LLMs

Die enormen Rechenanforderungen großer Sprachmodelle (LLMs) treiben die Entwicklung von Komprimierungsmethoden voran. Auf dem arXiv‑Portal (2602.06127v1) wird die neue Technik „Mixture of Pruners“ (MoP) vorgestellt, die gezielt die Parameterzahl reduziert und die Inferenz beschleunigt.

MoP ist ein iteratives Verfahren, das gleichzeitig zwei Pruning‑Strategien kombiniert: einen Zweig, der die Tiefe des Modells reduziert, und einen Zweig, der die Breite verkleinert. Bei jedem Schritt wählt das System den vielversprechendsten Kandidaten aus, um den Pfad weiterzuführen. Durch diese Mischung aus Tiefe und Breite überwindet MoP die Einschränkungen herkömmlicher, einseitiger Pruning‑Ansätze.

In umfangreichen Tests auf den Modellen LLaMA‑2 und LLaMA‑3 erzielt MoP die höchste Genauigkeit unter einer breiten Palette von Kompressionsregimen. Es übertrifft konsequent sowohl reine Tiefen‑ als auch reine Breiten‑Pruning‑Methoden und setzt damit neue Maßstäbe für strukturiertes Pruning.

Ein entscheidender Vorteil von MoP ist die echte Beschleunigung: Bei einer 40‑Prozent‑Kompression reduziert es die End‑zu‑End‑Latenz um 39 %. Diese Verbesserung zeigt, dass strukturiertes Pruning nicht nur theoretisch, sondern auch praktisch zu schnelleren Modellen führt.

Die Autoren erweitern MoP auf das Vision‑Language‑Modell LLaVA‑1.5. Dort verbessert die Methode die Rechenleistung signifikant, und ein text‑basiertes Fine‑Tuning kann die Leistung auch bei visuellen Aufgaben wiederherstellen. Damit demonstriert MoP seine Vielseitigkeit über reine Sprachmodelle hinaus.