Neue Methode zur gezielten Layer‑Auswahl bei PEFT von LLMs

Mit dem stetigen Wachstum großer Sprachmodelle wird das vollständige Fein‑Tuning immer teurer und zeitaufwändiger. Parameter‑effizientes Fine‑Tuning (PEFT) ist deshalb zur Standardstrategie für die Anpassung an spezifische Aufgaben geworden.

Ein Problem dabei ist, dass PEFT üblicherweise gleichmäßig auf alle Schichten angewendet wird, obwohl nicht jede Schicht denselben Beitrag zur Leistungsverbesserung leistet. Diese einheitliche Vorgehensweise verhindert, dass Entwickler gezielt die wichtigsten Layer auswählen und dadurch Kosten und Latenz reduzieren.

Die neue Studie präsentiert einen einheitlichen „projected residual“-Ansatz, der die Schicht‑weise Anpassung anhand von drei Kennzahlen beschreibt: dem projizierten Residual‑Norm (resnorm), der Aktivierungsenergie und der Schicht‑Kopplung. Für quadratisches Verlust und lineare Adapter entspricht das resnorm dem normalisierten Gradienten­norm, die Aktivierungsenergie steuert die Konditionierung und Rauschausbreitung, und eine schwache Kopplung führt zu fast additiven Beiträgen der einzelnen Schichten.

Auf Basis dieser Erkenntnisse wurde das „Layer Card“ entwickelt – ein wiederverwendbares Diagnosewerkzeug, das für jede Schicht die Signalstärke, den Rechenaufwand und die erwartete Leistungssteigerung zusammenfasst. Mit identischem Modell und LoRA‑Konfiguration ermöglicht die Layer Card eine gezielte Auswahl der zu adaptierenden Schichten, sodass Entwickler je nach Zielsetzung – etwa maximale Performance oder minimale Rechenkosten – flexibel priorisieren können.

Diese Methode bietet einen klaren Weg, PEFT effizienter zu gestalten, indem sie die Anpassung auf die wirklich entscheidenden Schichten fokussiert und gleichzeitig Kosten und Latenz senkt. Sie eröffnet neue Möglichkeiten für schnelle und kostengünstige Modellanpassungen in skalierbaren Produktionsumgebungen.