DynamixSFT: Automatisierte Optimierung von Instruction‑Tuning‑Datensätzen

In der heutigen Landschaft, in der ständig neue Instruction‑Tuning‑Datensätze entstehen, stellt die dynamische Abstimmung ihrer Mischungen eine zentrale Herausforderung dar. Mit DynamixSFT wird dieses Problem adressiert: ein automatisierter Ansatz, der die optimale Mischung der Datensätze in Echtzeit anpasst.

Der Kern der Methode ist die Formulierung des Problems als Multi‑Armed‑Bandit‑Setup. Durch die Einführung einer Prior‑scaled Boltzmann‑Exploration wird die aktuelle Stichprobenverteilung sanft an die ursprünglichen Verhältnisse der Datensätze geknüpft, sodass die Vielfalt und Abdeckung der Sammlung erhalten bleiben. Die Aktualisierung der Sampling‑Wahrscheinlichkeiten erfolgt mittels eines leichtgewichtigen 1‑Step‑Look‑Ahead‑Rewards, der misst, wie stark ein Datensatz die Modellleistung im aktuellen Zustand verbessert.

Bei der Anwendung auf die Tulu‑v2‑Mixture‑Collection, die 16 Instruction‑Tuning‑Datensätze umfasst, erzielt DynamixSFT bis zu 2,2 % Leistungszuwachs über zehn Benchmarks hinweg. Zusätzlich liefert die Arbeit umfassende Analysen und Visualisierungen, die die adaptiven Dynamiken des Ansatzes transparent machen.