Master Key Hypothese: Fähigkeiten ohne Retraining zwischen Modellen übertragen

Wissenschaftler haben eine neue Methode entwickelt, mit der nachtrainierte Fähigkeiten von großen Sprachmodellen auf kleinere Modelle übertragen werden können – und das ohne zusätzliche Trainingsschritte. Die sogenannte Master Key Hypothese besagt, dass die Fähigkeiten eines Modells in Form von Richtungen in einem kleinen latenten Unterraum liegen, die sich linear zwischen Modellen ausrichten lassen.

Auf Basis dieser Idee präsentiert das Team das Framework UNLOCK. Dabei werden Aktivierungen eines Modells, das die gewünschte Fähigkeit besitzt, mit denen eines Modells ohne diese Fähigkeit verglichen. Durch eine lineare, niedrigrangige Transformation wird die gefundene Richtungsinformation auf ein Zielmodell übertragen und bei der Inferenz genutzt, um das Verhalten zu aktivieren.

Die Experimente zeigen beeindruckende Ergebnisse: Beim Transfer von Chain-of-Thought (CoT)-Reasoning von Qwen1.5‑14B auf Qwen1.5‑7B steigt die Genauigkeit auf MATH um 12,1 %. Ein weiterer Transfer von mathematischem Reasoning von Qwen3‑4B‑Base auf Qwen3‑14B‑Base verbessert die AGIEval‑Math‑Genauigkeit von 61,1 % auf 71,3 %, was sogar besser ist als das 67,8 % des 14B‑Modells, das selbst post‑trainiert wurde.

Die Autoren betonen, dass der Erfolg des Transfers stark von den während des Pre‑Trainings erlernten Fähigkeiten abhängt. Durch die gezielte Intervention wird die Ausgangsverteilung schärfer, sodass erfolgreiche Denkpfade wahrscheinlicher werden. Diese Technik eröffnet neue Wege, leistungsstarke Modelle effizienter zu nutzen und ihre Fähigkeiten ohne aufwändiges Retraining zu erweitern.