Delta-Crosscoder: Robustes Modell‑Diffing bei schmalen Feintuning‑Setups

In der KI‑Forschung ist es entscheidend, genau zu verstehen, welche Änderungen ein Feintuning an einem Modell bewirkt. Der neue Ansatz Delta‑Crosscoder liefert hierfür ein besonders robustes Werkzeug, das auch bei sehr engen Feintuning‑Regimen zuverlässig funktioniert.

Der Kern des Modells besteht aus einer Kombination aus BatchTopK‑Sparsity und einer delta‑basierten Verlustfunktion. Diese Priorisierung von Richtungen, die sich zwischen Basis‑ und Feintuned-Modellen unterscheiden, wird zusätzlich durch einen impliziten kontrastiven Signalmechanismus verstärkt, der auf gepaarten Aktivierungen bei identischen Eingaben basiert.

In umfangreichen Tests mit zehn unterschiedlichen Modellen – darunter Gemma, LLaMA und Qwen im Parameterbereich von 1 B bis 9 B – zeigte Delta‑Crosscoder, dass es die latenten Richtungen isolieren kann, die für das neue Verhalten verantwortlich sind. Dabei übertrifft es die bisherigen SAE‑basierten Baselines und erreicht gleichzeitig die gleiche Leistung wie Non‑SAE‑Ansätze. Die Ergebnisse bestätigen, dass Crosscoders ein leistungsfähiges Mittel bleiben, um Modelländerungen präzise zu analysieren und gezielt zu mildern.