LoRA-Gewichte enthüllen ihre Fähigkeiten – neue Methode liest Modellverhalten aus

LoRA‑Checkpoints speichern Aufgaben‑spezifische Updates in kompakter, niedrigdimensionaler Form. Diese Updates enthalten bereits die Informationen darüber, was der Adapter tut und wie gut er funktioniert.

Ein Problem bei der direkten Auslesung dieser Informationen ist die unendliche Anzahl möglicher Faktorisierungen eines LoRA‑Updates. Ohne eine eindeutige Darstellung könnte ein Modell die spezifische Faktorisierung lernen, statt die eigentliche Aufgabe zu erfassen.

Die neue Methode W2T löst dieses Problem, indem sie jedes LoRA‑Update in eine kanonische Form überführt. Durch eine QR‑Decomposition gefolgt von einer SVD werden alle äquivalenten Faktorisierungen auf dieselbe Repräsentation gebracht. Anschließend werden die Komponenten tokenisiert und von einem Transformer verarbeitet, um ein Embedding im Gewichtespace zu erzeugen.

W2T erzielt starke Ergebnisse bei der Attributklassifikation, der Leistungsvorhersage und der Adapter‑Retrieval‑Aufgabe – sowohl in Sprach- als auch in Bild‑Domänen. Die Ergebnisse zeigen, dass LoRA‑Gewichte zuverlässig das Verhalten des Modells widerspiegeln, sobald die Faktorisierungsambiguität beseitigt ist.

Der zugehörige Code ist unter https://github.com/xiaolonghan2000/Weight2Token verfügbar.