AngelSlim: Kompakteres, umfassenderes und effizienteres Toolkit für große Modelle

Das neue Toolkit AngelSlim, entwickelt vom Tencent Hunyuan Team, bietet eine umfassende Lösung zur Kompression großer KI‑Modelle. Durch die Zusammenführung modernster Techniken wie Quantisierung, spekulatives Decodieren, Token‑Pruning und Distillation entsteht ein einheitlicher Workflow, der die Modelle von der Kompression bis zur industriellen Bereitstellung nahtlos überführt.

AngelSlim integriert fortschrittliche Post‑Training‑Quantisierung mit FP8 und INT8 sowie bahnbrechende Ultra‑Low‑Bit‑Ansätze. Mit dem ersten industriell nutzbaren 2‑Bit‑Modell HY‑1.8B‑int2 demonstriert das Toolkit, wie stark die Modellgröße reduziert werden kann, ohne die Leistungsfähigkeit zu beeinträchtigen.

Ein weiteres Highlight ist das spekulative Decodierungs‑Framework, das speziell für multimodale Architekturen und moderne Inferenz‑Engines entwickelt wurde. Es erzielt Durchsatzgewinne von 1,8‑bis‑2,0‑fach, ohne die Ausgabekorrektheit zu gefährden. Zusätzlich reduziert ein sparsames Attention‑Framework die Time‑to‑First‑Token (TTFT) in langen Kontexten, indem es statische Muster mit dynamischer Token‑Auswahl kombiniert.

Für multimodale Modelle bietet AngelSlim spezialisierte Pruning‑Strategien: IDPruner optimiert Vision‑Tokens über Maximal Marginal Relevance, während Samp adaptive Audio‑Token‑Fusion und -Pruning ermöglicht. Durch die nahtlose Integration dieser Techniken unterstützt AngelSlim sowohl forschungsorientierte Algorithmen als auch die praktische, tool‑gestützte Bereitstellung von komprimierten Modellen.