DARE-bench: LLMs in Data‑Science bewerten – Anweisungsgenauigkeit & Modellierung

Die wachsende Nachfrage nach leistungsfähigen Large Language Models (LLMs) für komplexe, mehrstufige Data‑Science-Aufgaben hat ein neues Benchmarking-Tool ins Leben gerufen: DARE‑bench. Dieses Tool füllt zwei entscheidende Lücken bestehender Benchmarks – es bietet einen standardisierten, prozessorientierten Ansatz, der die Einhaltung von Anweisungen und die Prozess‑Fidelity misst, und liefert gleichzeitig umfangreiches, korrekt gelabeltes Trainingsmaterial.

DARE‑bench besteht aus 6.300 Aufgaben, die aus Kaggle‑Datensätzen abgeleitet wurden. Jede Aufgabe verfügt über eine verifizierbare Ground‑Truth, sodass die Bewertung objektiv und reproduzierbar ist. Im Gegensatz zu vielen Benchmarks, die auf menschlichen oder modellbasierten Gutachtern beruhen, garantiert DARE‑bench eine klare, messbare Leistungsbewertung.

Die ersten Tests zeigen, dass selbst hochentwickelte Modelle wie gpt‑o4‑mini Schwierigkeiten haben, zufriedenstellende Ergebnisse zu erzielen, insbesondere bei Modellierungsaufgaben. Durch gezieltes Fine‑Tuning mit den DARE‑bench‑Daten konnten jedoch erhebliche Verbesserungen erzielt werden: ein supervised‑Fine‑Tuning steigerte die Genauigkeit von Qwen3‑32B um 1,83‑fach, während Reinforcement‑Learning die Genauigkeit von Qwen3‑4B um mehr als 8‑fach erhöhte.

Diese Ergebnisse unterstreichen die Bedeutung von DARE‑bench sowohl als präzises Evaluationsinstrument als auch als wertvolle Trainingsressource. Für Entwickler und Forscher, die LLMs für Data‑Science-Anwendungen einsetzen wollen, bietet DARE‑bench einen klaren Weg, die Leistungsfähigkeit ihrer Modelle systematisch zu messen und zu verbessern.