Optimale Reihenfolge von Kompressionstechniken für große Sprachmodelle

Ein neues arXiv‑Veröffentlichung beleuchtet, wie die Reihenfolge von Kompressionstechniken die Leistung von großen Sprachmodellen beeinflusst. Die Studie konzentriert sich auf das Qwen2.5 3B Modell und untersucht die drei Hauptmethoden: Wissensdistillation, strukturiertes Pruning und Low‑Bit‑Quantisierung.

Die Autoren haben mehrere Kompressionspipelines getestet, darunter Einzelanwendungen und Kombinationen aus allen drei Techniken. Die Bewertung erfolgte anhand von Perplexität, G‑Eval, Klarheit, Prompt‑Alignment und dem Kompressionsverhältnis.

Ergebnisse zeigen, dass die Quantisierung die größte Einsparung bietet, während Pruning zu moderaten Qualitätsverlusten führt. Entscheidend ist jedoch die Reihenfolge: Die Sequenz Pruning → Wissensdistillation → Quantisierung (P‑KD‑Q) liefert die beste Balance, mit einem 3,68‑fachen Kompressionsverhältnis und gleichzeitig starkem Befolgen von Anweisungen sowie Sprachverständnis.

Im Gegensatz dazu führen Pipelines, die die Quantisierung früh einsetzen, zu erheblichen Leistungsabfällen, da irreversibler Informationsverlust spätere Trainingsschritte beeinträchtigt. Die Studie liefert damit wertvolle Erkenntnisse für die Gestaltung ressourcenschonender, reihenfolgebewusster Kompressionsstrategien in der Praxis.