AlignMerge: Geometrisch sicheres Zusammenführen von Sprachmodellen

Das Zusammenführen mehrerer feinabgestimmter Sprachmodelle ist ein beliebter Ansatz, um neue Fähigkeiten zu kombinieren, ohne jedes Mal neu zu trainieren. Traditionelle Verfahren wie lineare Gewichtssuppen, Task‑Vektoren oder Fisher‑gewichtetes Averaging können dabei jedoch die Sicherheit und die Einhaltung von Richtlinien – die sogenannte Alignment‑Qualität – stark beeinträchtigen.

Mit dem neuen Framework AlignMerge wird Alignment nicht mehr nur nachträglich geprüft, sondern als integraler Bestandteil des Merging‑Prozesses behandelt. Dabei wird ein bereits ausgerichtetes Basismodell als „Anker“ verwendet und die Fusion so gesteuert, dass sie die Sicherheitsgeometrie respektiert.

Der Ansatz nutzt ein lokales Fisher‑Diagramm um das Basismodell herum, um einen Alignment‑Unterraum zu bestimmen. Ein Projektor P_A isoliert die empfindlichen Richtungen, und die Optimierung erfolgt über die Verlustfunktion

L_AlignMerge = L_geo + λ_align · L_align + λ_bud · L_bud

Hier hält L_geo die Fusion nahe an den Expertenmodellen im Fisher‑Rao‑Raum, L_align bestraft Bewegungen entlang der Alignment‑sensitiven Achsen, und L_bud setzt ein weiches Budget für Alignment‑Veränderungen. Für die Bewertung der Alignment‑Qualität wird der latente Alignment Quality Index (AQI) eingesetzt, der die Trennung von gut ausgerichteten und schlecht ausgerichteten Verhaltensweisen im Repräsentationsraum misst.

In umfangreichen Tests mit fünf Modellfamilien – darunter LLaMA‑3 8B, Mistral 7B, Qwen 2, Phi‑3.5 und Gemma 2 – zeigte AlignMerge signifikante Verbesserungen bei Alignment‑Messgrößen wie AQI, Toxizität und LLM‑Judge‑Alignment. Gleichzeitig erreichte es die gleiche oder sogar bessere Leistung bei Aufgaben wie Anweisungsbefolgung, Logik und Hilfsbereitschaft, während die Drift im Alignment‑Unterraum und die Budgetverletzungen deutlich geringer waren als bei herkömmlichen Fisher‑Soups oder TIES‑Methoden.