OPTIMA: One-Shot-Pruning von LLMs mit Quadratischer Programmierung – neue Genauigkeit

Die neue Methode OPTIMA setzt einen Meilenstein im Pruning nach dem Training großer Sprachmodelle. Durch die Kombination von Maskenauswahl und einer Reihe unabhängiger, zeilenweise Quadratischer Programme (QPs) wird die Gewichtsrekonstruktion optimiert, ohne dass ein erneutes Training nötig ist.

OPTIMA nutzt einen gemeinsamen Hessian pro Schicht, wodurch die QPs in großen Batches parallel auf modernen Beschleunigern gelöst werden können. Ein speziell entwickelter, acceleratorfreundlicher Solver sammelt pro Schicht einen Hessian und löst gleichzeitig tausende kleine Quadratische Programme – ein Ansatz, der bisher nur in kleinen Modellen möglich war.

In Tests mit verschiedenen LLM‑Familien und unterschiedlichen Sparsity‑Raten verbessert OPTIMA die Zero-Shot-Leistung um bis zu 3,97 % absolute Genauigkeit. Auf einer NVIDIA H100 kann ein 8‑Billionen‑Parameter‑Transformer in nur 40 Stunden end‑to‑end geprunet werden, wobei der Peak‑Speicherbedarf bei 60 GB liegt. Diese Ergebnisse stellen einen neuen Standard für Genauigkeit‑Effizienz‑Trade‑offs im Einmal‑Pruning dar.

OPTIMA lässt sich nahtlos in bestehende Maskenauswahl‑Tools integrieren und erfordert keine Feinabstimmung. Damit bietet es eine skalierbare, effiziente Lösung für die Reduktion von LLM‑Modellen, die sowohl in Forschung als auch in der Praxis sofort einsetzbar ist.