Neue Proxy‑Methode steigert Effizienz beim Feintuning großer Sprachmodelle

Beim Supervised Fine‑Tuning (SFT) ist die Auswahl der Trainingsdaten entscheidend für die Leistung eines Modells. Gradientbasierte Auswahlverfahren wie TracIn und Influence Functions nutzen die Einflusswirkung einzelner Beispiele, sind jedoch bei Modellen mit Milliarden Parametern zu rechenintensiv. Häufig genutzte kleinere Modelle als Proxy‑Modelle bleiben dabei suboptimal, weil ihre Lerndynamik nicht klar ist, ihre Größe nicht flexibel angepasst werden kann und sie nicht in Bezug auf die Gradient‑Einfluss‑Schätzung mit dem Zielmodell abgestimmt werden können.

Um diese Probleme zu lösen, wurde Iprox entwickelt – ein zweistufiges Framework, das Einfluss‑Bewahrende Proxies direkt aus dem Zielmodell ableitet. Zunächst wird eine Low‑Rank‑Kompression eingesetzt, um die Einflussinformationen des Zielmodells zu erhalten. Anschließend erfolgt eine Ausrichtungsphase, die sowohl die Gradienten als auch die Logits des Proxies an das Zielmodell anpasst. Dadurch entstehen Proxies, die die Rechenkosten flexibel steuern und gleichzeitig die Einflusswirkung des Zielmodells beibehalten.

Experimentelle Ergebnisse über verschiedene LLM‑Familien und Aufgaben zeigen, dass Iprox die herkömmlichen Off‑the‑Shelf‑Proxies und Basisverfahren konsequent übertrifft. Auf Qwen3‑4B liefert ein 1,5 B‑Proxy, der mit Iprox erstellt wurde, bessere Ergebnisse als ein 1,7 B‑Proxy aus dem Standard‑Set. Bei Llama3.2 erzielt Iprox eine höhere Leistung als die Baselines und senkt die Rechenkosten um mehr als die Hälfte im Vergleich zum vollständigen 3 B‑Modell.