Black-Box-Strategie zerbricht Sicherheitsausrichtung bei medizinischen LLMs

Eine neue Studie aus dem arXiv-Repository zeigt, dass medizinische Large Language Models (LLMs) – trotz ihrer ausgeprägten Sicherheitsausrichtung – durch eine Black‑Box‑Distillation leicht kompromittiert werden können. Der Angriff nutzt ausschließlich die Ausgabe des Modells und benötigt keinen Zugriff auf die internen Gewichte oder Trainingsdaten.

Die Forscher führten 48.000 Instruktionsabfragen an das Modell Meditron‑7B durch und sammelten 25.000 Paare aus benignen Anweisungen und Antworten. Anschließend wurde ein LLaMA3‑8B‑Surrogat mittels parameter‑effizienter LoRA‑Techniken trainiert, ohne dass Sicherheitsfilter oder Trainingsdaten einbezogen wurden. Für die gesamte Operation betrug die Kostenaufwand lediglich 12 US-Dollar.

Das Surrogat erzielte eine hohe Treue bei normalen Eingaben, zeigte jedoch bei 86 % der gezielten Angriffsaufforderungen unsichere Antworten – deutlich höher als die 66 % bei Meditron‑7B und 46 % beim untrainierten Basismodell. Diese Ergebnisse verdeutlichen einen erheblichen funktionalen‑ethischen Abstand und zeigen, dass die Sicherheitsausrichtung bei generativen medizinischen LLMs leicht zusammenbrechen kann.

Zur Analyse des Zusammenbruchs entwickelte das Team ein dynamisches Adversarial‑Evaluation‑Framework, das generative Query‑basierte Schadprompt‑Erzeugung, Verifikationsfilter, kategorielle Fehleranalyse und adaptive Random‑Search‑Jailbreak‑Angriffe kombiniert. Zusätzlich wurde ein mehrschichtiges Verteidigungssystem vorgeschlagen, das als Prototyp zur Echtzeit-Erkennung von Alignment‑Abweichungen in Black‑Box‑Umgebungen dient. Die Ergebnisse unterstreichen, dass selbst reine, benign‑basierte Black‑Box‑Distillation ein praktisches Risiko für die Sicherheit von medizinischen LLMs darstellt.