WSD‑Lernrate‑Scheduler: Gemeinsamkeiten zwischen Sprachmodellen und CNNs entdeckt
Der Warmup Stable Decay (WSD) Scheduler hat sich in den letzten Monaten als besonders leistungsfähig für das Training großer Sprachmodelle etabliert. Seine Fähigkeit, die Lernrate nur für einen Bruchteil der Trainingszeit zu reduzieren, hat die Forschung auf neue Wege geführt – doch bleibt unklar, ob dieser Erfolg ausschließlich bei transformerbasierten Modellen sichtbar ist.
In einer neuen Untersuchung wurde die Optimierungsroute des Adam‑Optimierers mit WSD auf einem Pythia‑ähnlichen Sprachmodell mit der Route eines kleinen CNNs verglichen, das Bilder aus dem CIFAR‑10‑Datensatz klassifiziert. Dabei wurden die Lernratenpfade, die Optimierer‑Trajektorien und die Dynamik der Modell‑Sharpness analysiert.
Die Ergebnisse zeigen, dass die Trainingssignale, die Eigenschaften der Optimierer‑Pfad‑Dynamik und die Sharpness‑Veränderungen in beiden Architekturen qualitativ sehr ähnlich sind. Diese Übereinstimmung deutet darauf hin, dass die Verlustlandschaften von klassischen und modernen nicht‑konvexen Problemen gemeinsame geometrische Merkmale besitzen. Die Studie eröffnet damit neue Forschungsfragen zur Geometrie hochdimensionaler Optimierungsprobleme und legt nahe, dass WSD weit über die Transformer‑Welt hinaussetzbar ist.