Cross‑Lingual Activation Steering: Mehrsprachige Modelle verbessern

Große Sprachmodelle zeigen bereits beeindruckende mehrsprachige Fähigkeiten, doch zwischen dominanten und weniger verbreiteten Sprachen bestehen weiterhin deutliche Leistungsunterschiede.

Frühere Untersuchungen haben diese Lücke auf ein Ungleichgewicht zwischen gemeinsam genutzten und sprachspezifischen Neuronen in den multilingualen Repräsentationen zurückgeführt.

Wir stellen Cross‑Lingual Activation Steering (CLAS) vor – eine trainingsfreie, inference‑zeitliche Intervention, die gezielt die Aktivierungen einzelner Neuronen moduliert.

Bei Klassifikations‑ und Generierungsbenchmarks erzielen wir durchschnittliche Verbesserungen von 2,3 % in der Genauigkeit und 3,4 % im F1‑Score, während die Leistung in Hochressourcen‑Sprachen unverändert bleibt.

Unsere Analyse zeigt, dass effektiver Transfer durch funktionale Divergenz und nicht durch strikte Ausrichtung erfolgt; die Leistungssteigerungen korrelieren mit einer stärkeren Trennung der Sprachcluster.

Die Ergebnisse demonstrieren, dass gezieltes Aktivierungs‑Steering das latente mehrsprachige Potenzial bestehender Modelle freisetzen kann, ohne deren Gewichte zu verändern.