GLASS: Schnelle LLM-Ausführung durch globale‑lokale neuronale Aggregation

Die Ausführung großer Sprachmodelle auf Edge‑Geräten erfordert eine aggressive, prompt‑bewusste Dynamik, um Rechenaufwand zu reduzieren, ohne die Qualität zu verlieren. Traditionelle Ansätze, die ein statisches oder predictor‑basiertes Sparsity‑Pattern festlegen, sind entweder zu starr oder verursachen zusätzlichen Laufzeitaufwand. Zero‑Shot‑Methoden, die lediglich auf Statistiken aus einem einzelnen Prompt beruhen, scheitern häufig bei kurzen Eingaben oder bei langen Generierungsaufgaben.

Mit A/I‑GLASS – Activation‑ und Impact‑basierte globale‑lokale neuronale Wichtigkeitsaggregation – wird dieses Problem elegant gelöst. Die beiden training‑freien Verfahren wählen dynamisch Feed‑Forward‑Network‑Einheiten aus, indem sie eine Rang‑Aggregation der lokalen Prompt‑Statistiken und der globalen, modellinternen Neuronendaten kombinieren. Dadurch entsteht eine effiziente, kontextabhängige Sparsifizierung ohne zusätzliche Vorhersage‑Modelle.

Experimentelle Ergebnisse auf einer Vielzahl von LLM‑Modellen und Benchmarks zeigen, dass GLASS die bisherigen training‑freien Methoden deutlich übertrifft, insbesondere bei anspruchsvollen, langen Textgenerierungen. Dabei bleibt die Laufzeit unverändert – keine zusätzlichen Inferenz‑Overheads entstehen.