Neue Methode schützt KI-Modelle beim Feintuning vor Sicherheitsverlust

Feintuning großer Sprachmodelle (LLMs) ist unverzichtbar, birgt jedoch das Risiko, die Sicherheitsausrichtung stark zu verschlechtern. Selbst harmlos wirkende Trainingsdaten können die Anfälligkeit für sogenannte Jailbreak-Angriffe erhöhen. In einer kürzlich veröffentlichten Studie wird dieses Problem systematisch untersucht und eine Lösung vorgestellt, die die Sicherheit bewahrt, ohne die Leistungsfähigkeit zu opfern.

Die Autoren analysieren die geometrische Beziehung zwischen Sicherheits- und Leistungsgradienten. Dabei stellen sie drei zentrale Erkenntnisse fest: Erstens liegen Sicherheitsgradienten in einem niedrigen Rang‑Unterraum, während Leistungsgradienten ein viel größeres, hochdimensionales Spektrum abdecken. Zweitens korrelieren diese Unterräume häufig negativ, was zu Konflikten während des Feintunings führt. Drittens lässt sich die dominante Sicherheitsrichtung bereits aus einer einzigen Probe zuverlässig bestimmen.

Auf Basis dieser Einsichten entwickelt das Team die Methode „Safety‑Preserving Fine‑Tuning“ (SPF). SPF entfernt gezielt die Gradientenelemente, die mit dem Sicherheitsunterraum kollidieren, und sorgt damit dafür, dass die Optimierung weiterhin auf die gewünschte Aufgabe abzielt, während die Sicherheitsabweichung begrenzt bleibt. Theoretisch wird gezeigt, dass SPF die Konvergenz der Leistungsgradienten garantiert und gleichzeitig die Sicherheitsdrift‑Grenzen hält.

Experimentelle Ergebnisse belegen die Wirksamkeit von SPF: In einer Vielzahl von Down‑stream‑Aufgaben bleibt die Modellleistung nahezu unverändert, während die Sicherheitsparameter nahezu vollständig wiederhergestellt werden. Damit bietet SPF einen leichten, aber wirkungsvollen Ansatz, um die Balance zwischen Nutzen und Sicherheit beim Feintuning von LLMs zu wahren.