Studie zeigt: Training mit „Junk‑Daten“ schwächt große Sprachmodelle

Eine aktuelle Untersuchung hat ergeben, dass Sprachmodelle, die mit kurzen, populären und oft oberflächlichen Tweets trainiert werden, bei Standard-Benchmarks deutlich schlechter abschneiden als Modelle, die auf vielfältigeren Daten basieren.

Die Forscher stellten fest, dass die Konzentration auf leicht zugängliche, aber wenig inhaltlich komplexe Tweets die Fähigkeit der Modelle einschränkt, tiefere Zusammenhänge zu erfassen. Dadurch kommt es zu einer Art „Brain‑Rot“, bei dem die Modelle zwar flüssig antworten, aber an Genauigkeit und Tiefe verlieren.

Die Ergebnisse unterstreichen die Bedeutung einer ausgewogenen Datenbasis für die Entwicklung leistungsfähiger KI‑Systeme und zeigen, dass Qualität und Vielfalt der Trainingsdaten entscheidend für die langfristige Leistungsfähigkeit von LLMs sind.