Verbesserte Modelloptimierung: Muon-basierte Distillation & Quantisierung für LLMs

Large Language Models (LLMs) haben die Verarbeitung natürlicher Sprache revolutioniert, doch ihre hohe Rechen-, Speicher- und Energieanforderung erschwert die Nutzung auf ressourcenbeschränkten Edge-Geräten. Um diese Hürden zu überwinden, müssen drei zentrale Aufgaben gelöst werden: die Beschaffung von domänenspezifischen Daten, die Feinabstimmung der Modelle für optimale Leistung und die Kompression, um die Inferenzgeschwindigkeit zu erhöhen und den Ressourcenverbrauch zu senken.

In der vorliegenden Arbeit wird ein integriertes Framework vorgestellt, das GPTQ-basierte Quantisierung, Low‑Rank‑Adaptation (LoRA) und einen speziell entwickelten Distillationsprozess kombiniert. Durch die Nutzung von Daten‑Distillation, Knowledge‑Distillation mittels Kullback‑Leibler‑Divergenz, bayesscher Hyperparameter‑Optimierung und dem Muon‑Optimizer wird die Modellgröße signifikant reduziert, ohne die Aufgaben‑spezifische Performance zu verlieren.

Die Ergebnisse zeigen, dass das Verfahren bis zu 2‑fachen Speicher‑Kompression ermöglicht – ein 6 GB‑Modell kann auf 3 GB reduziert werden – und gleichzeitig eine effiziente Inferenz für spezialisierte Aufgaben erlaubt. Im Vergleich zu einer reinen GPTQ‑Quantisierung übertrifft das kombinierte Verfahren die Leistung auf Standard‑LLM‑Benchmarks deutlich. Besonders der Muon‑Optimizer trägt dazu bei, dass feinabgestimmte Modelle während der Quantisierung weniger Genauigkeitsverlust erfahren.

Diese Fortschritte markieren einen wichtigen Schritt in Richtung praktikabler LLM‑Deployment‑Strategien auf Edge‑Plattformen und eröffnen neue Möglichkeiten für ressourcensparende KI‑Anwendungen.