Gewichtspatching: Neue Methode zur Mechanismenlokalisierung in Sprachmodellen

Die mechanistische Interpretierbarkeit von Sprachmodellen strebt danach, das Verhalten eines Modells auf die internen Komponenten zurückzuführen, die es tatsächlich ausführen. Bisherige Ansätze wie die Aktivierungsraum‑Lokalisierung und kausales Tracing haben wichtige Fortschritte erzielt, doch sie können nicht zuverlässig unterscheiden, ob ein Modul die Zielfähigkeit selbst kodiert oder lediglich Signale aus dem Vorfeld aggregiert oder verstärkt.

Um dieses Problem zu lösen, wurde die Technik des Weight Patching entwickelt. Dabei werden gezielt Gewichte eines spezialisierten Modells – das eine bestimmte Fähigkeit besonders stark ausprägt – in ein Basismodell eingefügt, während ein festgelegter Eingabetext verwendet wird. Durch diesen gezielten Parameter‑Transfer lässt sich untersuchen, welche Module tatsächlich die gewünschte Fähigkeit tragen.

Die Methode wurde auf das Aufgabenfeld „Anweisungsbefolgung“ angewendet. Hierbei dient ein vektor‑anker‑basierter Verhaltens‑Interface als gemeinsames Kriterium, um festzustellen, ob ein relevanter Kontrollzustand in der offenen Textgenerierung erzeugt oder wiederhergestellt wurde. Die Analyse zeigte eine klare Hierarchie: von flachen Kandidaten‑Quellen über Aggregations‑ und Routing‑Module bis hin zu nachgelagerten Ausführungs­kreisen.

Die gewonnenen Komponenten‑Scores ermöglichen zudem eine mechanismen‑bewusste Modellfusion. Durch gezielte Kombination der besten Expert‑Modelle lässt sich die Leistung verbessern und gleichzeitig die Transparenz der Modellarchitektur erhalten. Diese Ergebnisse liefern nicht nur neue Einblicke in die Funktionsweise großer Sprachmodelle, sondern bieten auch praktische Werkzeuge für die Entwicklung sicherer und erklärbarer KI‑Systeme.