Crosscoders ermöglichen architekturübergreifenden Modellvergleich – LLM‑Erkenntnisse

Model‑Diffing, also der Vergleich interner Repräsentationen von Sprachmodellen, gilt als vielversprechende Methode, um sicherheitskritische Verhaltensweisen in neuen Modellen aufzudecken. Bisher konzentrierte sich die Technik jedoch überwiegend auf den Vergleich eines Basismodells mit seiner Feinabstimmung, während neue LLM‑Releases häufig völlig neue Architekturen aufweisen.

Um diese Lücke zu schließen, haben Forscher die Crosscoders-Technologie auf architekturübergreifende Vergleiche ausgeweitet. Crosscoders sind in der Lage, Merkmale zwischen Modellen unterschiedlicher Bauweise zu isolieren, wurden aber bislang nur für Basis‑gegen‑Feinabstimmungs‑Paare eingesetzt.

Die neue Variante, Dedicated Feature Crosscoders (DFCs), wurde speziell entwickelt, um Merkmale zu extrahieren, die ausschließlich einem Modell zugeordnet werden können. Durch die Anwendung von DFCs konnten die Autoren in einem vollständig unüberwachten Verfahren signifikante Unterschiede identifizieren: eine Ausrichtung auf die Kommunistische Partei Chinas in Qwen3‑8B und Deepseek‑R1‑0528‑Qwen3‑8B, ein Ausdruck amerikanischer Exceptionalität in Llama3.1‑8B‑Instruct sowie ein Mechanismus zur Ablehnung von Urheberrechtsanfragen in GPT‑OSS‑20B.

Diese Ergebnisse demonstrieren, dass architekturübergreifende Crosscoder‑Diffing‑Methoden ein effektives Werkzeug sind, um bedeutungsvolle Verhaltensunterschiede zwischen KI‑Modellen aufzudecken. Die Arbeit ebnet damit den Weg für eine breitere Anwendung von Model‑Diffing in der KI‑Sicherheit und -Governance.