DP‑SFT: Subspace‑Fine‑Tuning senkt Rauschen, steigert Genauigkeit bei LLMs

Die Feinabstimmung großer Sprachmodelle auf spezifische Aufgaben ist entscheidend, um ihr volles Potential auszuschöpfen. Gleichzeitig wirft die Nutzung sensibler Daten Fragen zum Datenschutz auf. Differential Privacy (DP) bietet dafür robuste Garantien, doch die herkömmliche Rausch‑Einführung in den gesamten Parameterraum führt zu enormen Störungen und erschwert das Training.

Mit dem neuen Ansatz DP‑SFT wird das Problem elegant gelöst: Während des Fine‑Tuning liegen die wichtigsten Parameteränderungen in einem kleinen, auf die Aufgabe zugeschnittenen Unterraum. DP‑SFT konzentriert sich daher ausschließlich auf diesen Subspace, um Rauschen einzuführen. Dadurch wird die Rauschmenge drastisch reduziert, ohne die Privatsphäre zu gefährden.

Der Prozess besteht aus zwei Phasen. Zunächst wird der Subspace durch Analyse der Hauptgradienten identifiziert. Anschließend werden die vollständigen Gradienten auf diesen Unterraum projiziert, mit DP‑Rauschen versehen und zurück in den ursprünglichen Parameterraum transformiert. Das Ergebnis: deutlich geringeres Rauschen, stabileres Training und höhere Genauigkeit.

Experimentelle Tests auf mehreren Datensätzen zeigen, dass DP‑SFT die Leistung unter strengen DP‑Bedingungen verbessert, die Konvergenz beschleunigt und die Ergebnisse gegenüber herkömmlichen DP‑Fine‑Tuning‑Methoden deutlich übertrifft.