Gewicht-Updates als Aktivierungsverschiebungen: Prinzipienbasierte Steuerung

Die neueste Studie von ArXiv 2603.00425v1 zeigt, dass Aktivierungssteuerung – ein äußerst parameter‑effizienter Ansatz zur Modellanpassung – durch ein klar definiertes theoretisches Fundament noch wirkungsvoller werden kann. Durch die Herleitung einer ersten‑Ordnung‑Äquivalenz zwischen Interventionspunkten im Aktivierungsraum und Gewicht‑Updates wird deutlich, unter welchen Bedingungen Aktivierungssteuerung das Verhalten von Fein‑Tuning exakt replizieren kann.

Ein zentrales Ergebnis ist die Identifikation des „Post‑Block‑Ausgangs“ als besonders ausdrucksstarken und theoretisch untermauerten Ort für Interventionen. Die Analyse erklärt, warum manche Positionen besser funktionieren als andere und verdeutlicht, dass Gewicht‑ und Aktivierungsupdates unterschiedliche, aber komplementäre Rollen spielen. Diese Erkenntnisse bilden die Basis für einen neuen Ansatz – die „joint adaptation“, bei dem gleichzeitig in beiden Räumen trainiert wird.

Die experimentellen Ergebnisse sind beeindruckend: Post‑Block‑Steuerung erreicht durchschnittlich 0,2 %–0,9 % der Genauigkeit von vollem Parameter‑Tuning, während lediglich 0,04 % der Modellparameter angepasst werden. Im Vergleich zu bisherigen Methoden wie ReFT, LoRA und anderen PEFT‑Ansätzen übertrifft sie diese nicht nur in der Effizienz, sondern auch in der Leistung. Noch bemerkenswerter ist, dass die kombinierte Anpassung häufig die Leistungsgrenzen von Gewicht‑ oder Aktivierungsupdates allein übertrifft und damit ein neues Paradigma für effiziente Modellanpassung einführt.