Mechanismuswechsel: Post-Training von ARMs zu Masked Diffusion Modellen

In einer wegweisenden Studie wurde gezeigt, dass das Post‑Training von autoregressiven Sprachmodellen (ARMs) zu Masked Diffusion Modellen (MDMs) weit mehr als nur Parameteranpassungen bewirkt. Durch eine detaillierte zirkuläre Analyse der internen Abläufe konnte ein systematischer Mechanismuswechsel identifiziert werden, der je nach Aufgabenstruktur variiert.

Bei Aufgaben, die stark von lokalen kausalen Abhängigkeiten geprägt sind, behalten MDMs weitgehend die autoregressive Architektur bei. Im Gegensatz dazu verwerfen sie bei globalen Planungsaufgaben die ursprünglich initialisierten Pfade und zeigen eine deutliche Neuvernetzung, die vor allem in den frühen Schichten verstärkt wird. Dieser strukturelle Wandel deutet darauf hin, dass MDMs nicht einfach alte Heuristiken replizieren, sondern neue Wege für die Informationsverarbeitung erschließen.

Semantisch wandelt sich die Spezialisierung von einer scharfen, lokalisierten Fokussierung in ARMs zu einer verteilten Integration in MDMs. Das Ergebnis ist eine verbesserte Fähigkeit zur nicht-sequentiellen, globalen Planung, die weit über das hinausgeht, was reine autoregressive Modelle leisten können. Diese Erkenntnisse unterstreichen, dass Diffusion‑Post‑Training ein fundamentaler Prozess ist, der die interne Rechenstruktur neu organisiert und damit die Leistungsfähigkeit von Sprachmodellen nachhaltig steigert.