DataFlex: Einheitliches Framework für datenorientiertes LLM-Training

In einer wegweisenden Veröffentlichung präsentiert ein neues Forschungsprojekt ein einheitliches Framework namens DataFlex, das das datenorientierte Training großer Sprachmodelle (LLMs) revolutioniert. DataFlex baut auf der beliebten LLaMA-Factory auf und integriert drei zentrale Paradigmen der dynamischen Datenoptimierung: die Auswahl einzelner Proben, die Anpassung von Domänenmischungen und die Reweighting-Strategien für Trainingsdaten.

Das System ist vollständig kompatibel mit dem bestehenden Trainingsworkflow und bietet erweiterbare Trainerabstraktionen sowie modulare Komponenten, die einen nahtlosen Austausch mit Standard-LLM-Trainingsprozessen ermöglichen. Durch die Vereinheitlichung von modellabhängigen Operationen wie Embedding‑Extraktion, Inferenz und Gradientenberechnung erleichtert DataFlex die Integration in groß angelegte Umgebungen, einschließlich DeepSpeed ZeRO‑3.

Umfangreiche Experimente zeigen, dass dynamische Daten­auswahl die Leistung bei MMLU deutlich über dem statischen Full‑Data‑Training liegt – sowohl bei Mistral‑7B als auch bei Llama‑3.2‑3B. Für die Optimierung von Daten­mischungen überweisen sich Methoden wie DoReMi und ODM positiv auf die MMLU‑Genauigkeit und die Korpus‑Perplexität, wenn Qwen2.5‑1.5B auf SlimPajama vortrainiert wird, sowohl bei 6 B als auch bei 30 B Token‑Skalen.

Darüber hinaus erzielt DataFlex konsistente Laufzeitverbesserungen gegenüber der ursprünglichen Implementierung, was die Effizienz von datenorientierten Trainingsansätzen weiter steigert. Das Framework stellt damit einen bedeutenden Fortschritt dar, der die Reproduzierbarkeit, den fairen Vergleich und die praktische Anwendbarkeit von datenzentrierten LLM‑Trainingsmethoden nachhaltig verbessert.