UniComp: Bewertung von LLM-Kompression mit Pruning, Quantisierung & Distillation
Die Kompression großer Sprachmodelle (LLMs) wird immer wichtiger, wenn es darum geht, sie in produktiven Systemen einzusetzen. Bisherige Studien beschränken sich jedoch meist auf ein enges Spektrum an Methoden und legen…