Spectral Edge Dynamics: Transformer-Training in wenigen Richtungen enthüllt Signal-Noise-Form
In einer neuen Studie wird gezeigt, dass Transformer‑Modelle trotz ihrer enormen Parameterzahl – bis zu 124 Millionen – ihre Trainingspfade in nur wenigen, stark korrelierten Richtungen entwickeln. Diese Erkenntnis steh…