Neue Skalierungsformeln enthüllen die Entwicklung von Sprachmodellfähigkeiten

Forscher haben ein neues Verfahren zur Vorhersage der Leistungsfähigkeit von Sprachmodellen entwickelt, das auf präzisen Skalierungsregeln basiert. Das Ziel ist es, für ein vorgegebenes Trainingsbudget genau abzuschätzen, welche Genauigkeit in der Praxis erreicht werden kann und wie sich diese Beziehung im Laufe der Zeit verändert.

Die Studie stützt sich auf umfangreiche Beobachtungsdaten: 5.000 Messungen aus bestehenden Modellen und 2.000 neu erstellte Datenpunkte. Durch glatte Quantilregressionen, die eine monotone, sigmoide Parameterisierung nutzen, werden die oberen Leistungsgrenzen in Abhängigkeit von den logarithmierten Trainings-FLOPs bestimmt. Die Methode wurde auf frühere Modellgenerationen angewendet und anschließend auf neuere Versionen getestet, um die zeitliche Zuverlässigkeit zu prüfen.

Die Ergebnisse zeigen, dass die geschätzten Grenzen bei den meisten Aufgaben stabil bleiben. Ein bemerkenswerter Ausreißer ist das mathematische Problemlösen, bei dem die Leistungsgrenzen kontinuierlich steigen. Zusätzlich wurden Aufgabenabhängigkeiten und mögliche Kontaminationsschichten bei mathematischen Tests untersucht.

Ein weiteres Highlight der Arbeit ist ein effizienter Algorithmus, der nahezu die vollständige Leistungsfront mit nur rund 20 % des üblichen Evaluationsaufwands rekonstruieren kann. Zusammen mit dem veröffentlichten Proteus 2k-Datensatz liefert die Studie eine praktische Methodik, um Rechenbudgets in verlässliche Leistungsprognosen umzuwandeln und Veränderungen der Fähigkeitsgrenzen im Zeitverlauf zu überwachen.