Chinchilla Ansatz 2: Systematische Biases bei IsoFLOP-Parabelfits enthüllt

Der Chinchilla Ansatz 2, der häufig zur Anpassung von neuronalen Skalierungsgesetzen verwendet wird, weist systematische Verzerrungen auf, die bereits bei rein synthetischen, rauschfreien Daten sichtbar werden. Diese Verzerrungen führen zu einer Unterallokation von Parametern, die sich in der Praxis als erhebliche Kosten niederschlagen.

Bei der Analyse der IsoFLOP-Daten von Llama 3 im offenen Frontier‑Compute‑Bereich zeigt sich, dass die Biases zu einer Unterallokation von 6,5 % des 3,8 × 10²⁵‑FLOP‑Trainingsbudgets führen. Das entspricht rund 1,4 Millionen US-Dollar an unnötiger Rechenleistung (90 % Konfidenzintervall: 412 Tsd.–2,9 Mio. USD) bei einer 50 % H100‑MFU‑Auslastung. Simulationen multimodaler Modelle deuten darauf hin, dass die Opportunitätskosten durch höhere Asymmetrien der Verlustfläche noch größer werden.

Die Untersuchung identifiziert drei Hauptursachen für die Fehler: die Breite des IsoFLOP‑Sampling‑Gitters (Genauigkeit der Taylor‑Annäherung), unzentriertes IsoFLOP‑Sampling und die Asymmetrie der Verlustfläche (α ≠ β). Der Chinchilla Ansatz 3 eliminiert diese Verzerrungen weitgehend, wird jedoch häufig als weniger daten‑effizient, numerisch instabil, anfällig für lokale Minima und schwerer umzusetzen kritisiert. Diese Bedenken werden jedoch durch die Nutzung der teilweise linearen Struktur des Ziels mittels Variable Projection widerlegt.

Durch Variable Projection kann man alle fünf Parameter der Verlustfläche ohne Bias bestimmen, indem man eine zweidimensionale Optimierung durchführt, die gut konditioniert, analytisch differenzierbar und für dichte oder sogar exhaustive Grid‑Suchen geeignet ist. Dieser Ansatz bietet eine praktikablere Alternative zum Ansatz 2 und eine skalierbarere Option für Anpassungen des Ansatz 3 an komplexere Skalierungsmodelle.