Neue Methode dekomponiert GPT-2-small – Einblicke in Parameterraum
Eine neue Studie auf arXiv zeigt, wie die Stochastic Parameter Decomposition (SPD) – ein Verfahren aus der mechanistischen Interpretierbarkeit – erfolgreich auf Transformer‑Modelle angewendet werden kann. Durch die Erweiterung von SPD mit einer speziell für sequentielle Daten entwickelten kausalen Wichtigkeitsfunktion und einer neuen Verlustfunktion gelingt es, die komplexen Parameterstrukturen dieser Modelle zu zerlegen.
