AutoQRA: Optimale Quantisierung & LoRA für effizientes LLM‑Fine‑Tuning

In der Welt der großen Sprachmodelle (LLMs) ist die Kombination aus Quantisierung und parameter‑effizientem Feintuning zu einem vielversprechenden Ansatz geworden, um Modelle unter strengen GPU‑Speicherkapazitäten anzupassen. Doch bisher wurden Quantisierung und LoRA (Low‑Rank Adaptation) immer getrennt optimiert, wodurch die komplexe Wechselwirkung zwischen Bit‑Breite und LoRA‑Rang ungenutzt blieb. AutoQRA löst dieses Problem, indem es beide Faktoren gleichzeitig für jede Schicht des Modells optimiert.

Der Ansatz besteht aus zwei aufeinanderfolgenden Phasen. Zunächst führt AutoQRA eine globale, multi‑Fidelity‑Evolutionäre Suche durch, die mit Schicht‑basierten Prioritäten gestartet wird. Diese Phase nutzt spezielle Operatoren und ein Leistungsmodell, um vielversprechende Konfigurationen effizient zu filtern. Anschließend wird ein trust‑Region‑Bayesian‑Optimierungsverfahren eingesetzt, um in lokalen Regionen des Suchraums präzise Anpassungen vorzunehmen und die optimale Bit‑Breite‑LoRA‑Kombination unter dem vorgegebenen Speicherbudget zu bestimmen.

Durch diese Kombination kann AutoQRA gezielt Quantisierungsrauschen in einzelnen Schichten ausgleichen und so die Feinabstimmungsleistung deutlich verbessern. Experimente zeigen, dass AutoQRA die Leistung bei gleicher Speichergrenze signifikant steigert und damit einen wichtigen Schritt in Richtung ressourcenschonender, hochperformanter LLM‑Anpassung darstellt.