UniComp: Bewertung von LLM-Kompression mit Pruning, Quantisierung & Distillation

Die Kompression großer Sprachmodelle (LLMs) wird immer wichtiger, wenn es darum geht, sie in produktiven Systemen einzusetzen. Bisherige Studien beschränken sich jedoch meist auf ein enges Spektrum an Methoden und legen den Fokus vor allem auf wissensbasierte Benchmarks. Mit UniComp liefert die Forschung ein umfassendes Evaluationsframework, das Pruning, Quantisierung und Distillation systematisch vergleicht.

UniComp bewertet komprimierte Modelle entlang dreier Dimensionen: Leistung, Zuverlässigkeit und Effizienz. Dabei kommen eine breite Palette an Fähigkeitstests sowie sicherheitsorientierten Benchmarks zum Einsatz, ergänzt durch eine hardware‑bewusste Effizienz‑Analyse. Auf dieser Basis wurden sechs gängige Kompressionstechniken an modernen LLMs über mehr als 40 Datensätzen getestet.

Die Ergebnisse zeigen, dass Kompression einen konsistenten Wissensbias aufweist: Aufgaben, die stark auf Faktenwissen angewiesen sind, bleiben weitgehend erhalten, während Fähigkeiten wie logisches Denken, Mehrsprachigkeit und Befolgen von Anweisungen deutlich nachlassen. Quantisierung erweist sich dabei als die beste Balance zwischen beibehaltener Leistung und Effizienz. Distillation liefert hingegen starke Laufzeitbeschleunigungen, jedoch zu einem hohen Rechenaufwand. Darüber hinaus kann eine aufgabenbezogene Kalibrierung die Denkfähigkeit von Pruned-Modellen um bis zu 50 % steigern.