Neues neuronales Skalierungsmodell vorhersagt Trainingserfolg bei großen Modellen

Eine neue Veröffentlichung auf arXiv (2602.10300v1) präsentiert ein neuronales Modell, das die Leistung von großen Sprachmodellen anhand ihrer kompletten Trainingskonfiguration vorhersagen kann. Die Autoren zeigen, wie ein sogenanntes Configuration-to-Performance Scaling Law (CPL) die Abhängigkeit zwischen Modellgröße, Datensatzgröße und allen relevanten Hyperparametern erfasst.

Traditionelle Skalierungsregeln, wie die Chinchilla‑Law, berücksichtigen nur Modell- und Datensatzgröße und setzen voraus, dass alle übrigen Hyperparameter optimal gewählt sind – ein Anspruch, der in der Praxis oft schwer zu erfüllen ist. Das neue CPL adressiert dieses Problem, indem es die gesamte Trainingskonfiguration in die Vorhersage einbezieht. Da die Beziehung zwischen Konfiguration und Ergebnis nicht durch eine einfache Formel beschrieben werden kann, wird sie mit einem großen Sprachmodell parametrisiert.

Durch das Training des CPL mit einer Vielzahl von Open‑Source‑Pretraining‑Logs aus unterschiedlichen Quellen entsteht das Neural Configuration-to-Performance Scaling Law (NCPL). NCPL liefert präzisere Vorhersagen des Endverlusts als die konfigurationsagnostische Chinchilla‑Law, mit einer Fehlerreduktion von 20 % bis 40 %. Darüber hinaus generalisiert es zuverlässig auf Trainingsläufe, die bis zu zehnmal mehr Rechenleistung erfordern als die im Trainingsdatensatz enthaltenen Experimente, und ermöglicht die gleichzeitige Abstimmung mehrerer Hyperparameter.

Die Autoren betonen, dass NCPL nicht nur die finale Verlustvorhersage verbessert, sondern sich auch nahtlos auf komplexere Zielgrößen wie Verlustkurven ausdehnen lässt. Damit eröffnet das Modell neue Möglichkeiten für die effiziente Planung und Optimierung von groß angelegten KI‑Trainingsprozessen.