<p>PocketLLM: LLMs in 10-facher Kompression dank Meta-Netzwerken</p> <p>Mit dem stetigen Wachstum von Large Language Models (LLMs) wird das Speichern und Übertragen dieser Modelle auf Edge-Geräten immer schwieriger. Klassische Techniken wie Quantisierung und Pruning erreichen zwar eine gewisse Reduktion, doch sie stoßen schnell an ihre Grenzen, wenn extrem hohe Kompressionsraten ohne Qualitätsverlust angestrebt werden.</p> <p>Die neue Methode PocketLLM löst dieses Problem, indem sie die Gewichte eines LLMs

arXiv – cs.LG Original
Anzeige