BeyondWeb: Wie synthetische Daten das Training von Sprachmodellen revolutionieren

Die neuesten Fortschritte beim Vortrainieren großer Sprachmodelle zeigen, dass die reine Erhöhung der Datenmenge irgendwann an ihre Grenzen stößt – ein Phänomen, das als „Datenwall“ bezeichnet wird. Um diese Grenze zu überwinden, gewinnt die Nutzung synthetischer Daten zunehmend an Bedeutung. Das neue Forschungsprojekt BeyondWeb präsentiert ein Framework, das hochwertige synthetische Daten erzeugt und damit die Leistungsfähigkeit von Modellen deutlich steigert.

Im Vergleich zu etablierten synthetischen Datensätzen wie Cosmopedia und dem hochwertigen Teilset Nemotron-Synth übertrifft BeyondWeb die Leistung in 14 Benchmark‑Tests um bis zu 5,1 pp bzw. 2,6 pp. Gleichzeitig ermöglicht es ein bis zu 7,7‑fach schnelleres Training als bei offenen Web‑Daten und 2,7‑fach schneller als bei Nemotron‑Synth. Besonders bemerkenswert ist, dass ein 3‑Billionen‑Parameter‑Modell, das mit 180 Billionen Tokens auf BeyondWeb trainiert wurde, die Leistung eines 8‑Billionen‑Parameter‑Modells mit derselben Tokenmenge auf Cosmopedia übertrifft.

BeyondWeb liefert zudem wertvolle Erkenntnisse darüber, welche Faktoren die Qualität synthetischer Trainingsdaten bestimmen. Die Studie untersucht, welche Datenarten umformuliert werden sollten, wie die Umformulierung erfolgen muss und welchen Einfluss die Modellgröße sowie die Modellfamilie auf die Datenqualität haben. Diese Einsichten zeigen, dass es keine einfache Lösung gibt: Die besten Ergebnisse erfordern die gleichzeitige Optimierung mehrerer Parameter, was sowohl wissenschaftliche Präzision als auch praktische Erfahrung verlangt.

Insgesamt verdeutlicht die Arbeit, dass synthetische Daten ein entscheidender Schlüssel sind, um die Grenzen des Vortrainings zu verschieben. Durch die Kombination aus fortschrittlicher Datengenerierung, schnellerem Training und gezielten Optimierungen eröffnet BeyondWeb neue Möglichkeiten für die Entwicklung leistungsfähiger Sprachmodelle.