Neue Methode reduziert Redundanz in Daten für Instruction Tuning von LLMs

In der Welt der großen Sprachmodelle spielt die Qualität der Trainingsdaten eine entscheidende Rolle. Während frühere Studien gezeigt haben, dass Modelle, die mit kleineren, aber hochwertigen Datensätzen trainiert werden, oft bessere Ergebnisse liefern als solche, die auf riesigen, verrauschten Korpora basieren, fehlt bislang ein systematischer Ansatz zur Auswahl von Daten für das Instruction Tuning in industriellen Maßstäben.

Die neue Arbeit untersucht die Auswahl von Instruction‑Tuning‑Daten aus der Perspektive semantischer Repräsentationsähnlichkeit. Dabei wird ein entscheidendes Problem identifiziert: Die gängigen LLM‑Encoder erzeugen stark redundante semantische Einbettungen, was die Effizienz der Datenwahl beeinträchtigt.

Um dieser Redundanz entgegenzuwirken, wird das Konzept „Compressed Representation Data Selection“ (CRDS) vorgestellt. CRDS bietet zwei Varianten: CRDS‑R kombiniert Rademacher‑zufällige Projektionen mit der Konkatenation von Transformer‑Hidden‑Layer‑Repräsentationen, während CRDS‑W eine auf Whitening basierende Dimensionsreduktion nutzt, um die Repräsentationsqualität zu verbessern.

Experimentelle Ergebnisse zeigen, dass beide Varianten die Datenqualität erheblich steigern und bestehende, repräsentationsbasierte Auswahlmethoden konsequent übertreffen. Besonders beeindruckend ist CRDS‑W, das mit lediglich 3,5 % der Daten ein starkes Ergebnis erzielt und die Basislinie mit durchschnittlich 0,71 % übertrifft – und das über vier verschiedene Datensätze hinweg.

Der zugehörige Code ist öffentlich auf GitHub verfügbar, sodass die Forschungsgemeinschaft die Methode leicht übernehmen und weiterentwickeln kann.