LLM-basierte Baselines überzeugen bei Modellvergleich

In der aktuellen Studie von arXiv:2602.10371v1 wird gezeigt, dass einfache LLM-basierte Baselines bei der Analyse von Modellunterschieden genauso stark sind wie komplexere Methoden. Traditionelle LLM-Bewertungen prüfen nur die für sie vorgesehenen Fähigkeiten und lassen unerwartete Verhaltensänderungen zwischen Modellrevisionen unentdeckt. Model‑Diffing adressiert dieses Problem, indem systematische Unterschiede automatisch hervorgehoben werden.

Die Autoren vergleichen zwei Ansätze: eine LLM-basierte Methode, die natürliche Sprachbeschreibungen erzeugt, und eine SAE-basierte Technik, die interpretierbare Merkmale identifiziert. Bislang fehlte jedoch ein systematischer Vergleich und klare Bewertungskriterien. Deshalb wurden neue Metriken eingeführt, die Generalisierung, Interessantheit und Abstraktionsgrad messen.

Die Ergebnisse sind überzeugend: Das verbesserte LLM-basierte Baseline erreicht Leistungen, die mit denen der SAE-Methode vergleichbar sind, und liefert dabei häufig abstraktere Verhaltensunterschiede. Damit wird deutlich, dass schon einfache LLM-Ansätze für das Modell‑Diffing leistungsfähig genug sind und die Analyse von Modelländerungen effizienter gestalten können.