OpenDataArena: Plattform zur Bewertung von Post‑Training‑Daten

OpenDataArena (ODA) ist eine neue, vollständig offene Plattform, die die bislang verborgene Qualität und Vielfalt von Post‑Training‑Datensätzen transparent macht. Durch die Kombination aus standardisierten Trainings‑ und Evaluationspipelines, einem mehrdimensionalen Scoring‑Framework, einem interaktiven Daten‑Lineage‑Explorer und einem Open‑Source‑Toolkit bietet ODA Forschern und Entwicklern ein umfassendes Ökosystem, um den wahren Wert von Trainingsdaten systematisch zu bewerten.

Die vier Kernpfeiler von ODA stellen sicher, dass Vergleiche zwischen unterschiedlichen Modellen – etwa Llama, Qwen oder anderen – fair und nachvollziehbar sind. Das Scoring‑Framework analysiert Datenqualität entlang von Dutzenden von Achsen, während der Lineage‑Explorer die Herkunft und Zusammensetzung von Datensätzen visualisiert. Das Open‑Source‑Toolkit ermöglicht es, Trainings, Evaluierungen und Scoring selbst durchzuführen und damit die Forschung zu fördern.

In umfangreichen Experimenten wurden über 120 Trainingsdatensätze aus verschiedenen Domänen auf 22 Benchmarks getestet. Mehr als 600 Trainingsläufe und 40 Million verarbeitete Datenpunkte lieferten signifikante Erkenntnisse: Es existieren klare Trade‑Offs zwischen Datenkomplexität und Aufgabenleistung, viele populäre Benchmarks weisen Redundanzen auf, die durch die Lineage‑Analyse aufgedeckt wurden, und die genealogischen Beziehungen zwischen Datensätzen lassen sich systematisch kartieren.

Durch die Bereitstellung eines transparenten, reproduzierbaren und offenen Evaluationsrahmens trägt ODA entscheidend dazu bei, die Nachvollziehbarkeit von LLM‑Entwicklungen zu erhöhen und die Forschung zu datengetriebenen Modellen voranzutreiben. Alle Komponenten sind frei verfügbar, sodass die Community sofort von den Erkenntnissen profitieren und eigene Experimente durchführen kann.