UberWeb: 20 Billionen Token – Mehrsprachige Kuratierung setzt neue Maßstäbe

Eine neue Studie von UberWeb hat gezeigt, dass die Qualität der Daten die entscheidende Variable für den Erfolg mehrsprachiger KI-Modelle ist. Durch gezielte Kuratierung von Texten in 13 verschiedenen Sprachen konnten die Autoren nachweisen, dass viele der bisher beobachteten Leistungsabfälle nicht auf inhärente Grenzen der Modellarchitektur zurückzuführen sind, sondern auf korrigierbare Mängel in der Datenqualität und -zusammensetzung.

In kontrollierten bilingualen Experimenten wurde deutlich, dass die Verbesserung der Datenqualität einer einzelnen Sprache positive Effekte auf die anderen Sprachen hat. Das Aufbereiten von englischen Texten steigert die Leistung in 12 von 13 Sprachen, während die Optimierung nicht-englischer Daten wiederum die englische Performance verbessert. Besonders stark wirken sich maßgeschneiderte, sprachspezifische Kuratierungen aus, die innerhalb jeder Sprache signifikante Fortschritte erzielen.

Die Forscher haben diese Erkenntnisse auf ein großes, öffentliches 20‑Billionen‑Token‑Korpus angewendet. Modelle mit 3 Billionen und 8 Billionen Parametern, die auf einem 1‑Billionen‑Token‑Random‑Subset trainiert wurden, erreichen eine konkurrenzfähige mehrsprachige Genauigkeit bei 4‑10‑fach weniger Rechenaufwand als führende öffentliche Baselines. Damit wird ein neuer Pareto‑Grenzpunkt für mehrsprachige Leistung versus Rechenleistung definiert, der die Effizienz von KI‑Training neu gestaltet.

Die Vorteile dieser Ansatzes erstrecken sich über die reine Genauigkeit hinaus: Durch die Kombination von hochqualitativen, kuratierten Daten mit moderaten Token-Anzahlen können Unternehmen und Forschungseinrichtungen leistungsstarke, ressourcenschonende Modelle entwickeln, die gleichzeitig eine breite Sprachabdeckung bieten. UberWebs Arbeit markiert damit einen wichtigen Schritt in Richtung nachhaltiger, globaler KI‑Entwicklung.