Ein Leck reicht: Vortrainierte Modelle erhöhen Jailbreak‑Risiken

Finetuning von vortrainierten großen Sprachmodellen (LLMs) ist heute die Standardmethode, um spezialisierte Anwendungen zu entwickeln. Doch wie sicher ist dieser Ansatz wirklich? Insbesondere bleibt unklar, ob die bei der Feinabstimmung entstandenen Modelle die Schwachstellen ihrer vortrainierten Vorgänger übernehmen.

In einer realistischen Bedrohungsanalyse haben wir ein Szenario untersucht, in dem ein Angreifer vollständigen Zugriff auf das vortrainierte Modell besitzt, aber nur Black‑Box‑Zugriff auf die daraus abgeleiteten, feinabgestimmten Varianten hat. Die Ergebnisse zeigen, dass adversariale Eingabeaufforderungen, die auf dem vortrainierten Modell optimiert wurden, nahezu vollständig auf die feinabgestimmten Modelle übertragen werden können. Damit wird deutlich, dass Jailbreak‑Schwachstellen von der Ausgangsphase in die Endanwendung weitergegeben werden.

Durch eine Analyse der Repräsentationen haben wir festgestellt, dass die übertragbaren Prompt‑Muster in den versteckten Zuständen des vortrainierten Modells linear trennbar sind. Dies deutet darauf hin, dass die Fähigkeit zur universellen Übertragbarkeit bereits in den vortrainierten Merkmalen kodiert ist.

Auf dieser Erkenntnis basierend haben wir die Probe‑Guided Projection (PGP) – einen Angriff entwickelt, der die Optimierung gezielt auf die für die Übertragbarkeit relevanten Richtungen lenkt. In Experimenten mit verschiedenen LLM‑Familien und unterschiedlichen Feinabstimmungsaufgaben zeigte PGP eine hohe Erfolgsrate bei der Übertragung. Diese Befunde unterstreichen die inhärenten Sicherheitsrisiken des Pretrain‑to‑Finetune‑Paradigmas und fordern Entwickler dazu auf, neue Schutzmechanismen zu berücksichtigen.