Automatisierte Erkennung von Jailbreak-Versuchen in klinischen LLMs

In der klinischen Ausbildung von Sprachmodellen (LLMs) stellt die Erkennung von Jailbreak-Versuchen – also Versuchen, das Modell zu manipulieren – eine zentrale Herausforderung dar. Dabei ist es entscheidend, sprachliche Abweichungen zu identifizieren, die auf unsichere oder abweichende Nutzerhandlungen hinweisen.

Frühere Studien auf der 2‑Sigma‑Simulationsplattform nutzten manuell annotierte sprachliche Merkmale, um Jailbreaks zu erkennen. Diese manuelle Vorgehensweise limitiert jedoch die Skalierbarkeit und Ausdruckskraft. In der vorliegenden Arbeit wird das Verfahren erweitert, indem Experten vier Kernmerkmale – Professionalität, medizinische Relevanz, ethisches Verhalten und kontextuelle Ablenkung – annotieren und anschließend mehrere BERT‑basierte Modelle trainieren, diese Merkmale direkt aus dem Text vorherzusagen.

Der beste Regressor für jedes Merkmal wird als Feature‑Extraktor in einer zweiten Klassifikationsschicht eingesetzt. Durch den Einsatz verschiedener Modelltypen (Baum‑basierte, lineare, probabilistische und Ensemble‑Methoden) wird die Wahrscheinlichkeit eines Jailbreaks aus den extrahierten Merkmalen berechnet. In Kreuzvalidierungen und bei hold‑out‑Tests erzielt das System eine starke Gesamtleistung, was zeigt, dass LLM‑basierte sprachliche Merkmale eine effektive Grundlage für automatisierte Jailbreak‑Erkennung bieten.

Eine Fehleranalyse hebt die aktuellen Einschränkungen der Annotationen und Merkmalsdarstellungen hervor und weist auf mögliche Verbesserungen hin: reichhaltigere Annotationen, feinere Feature‑Extraktion und Methoden, die das sich wandelnde Risiko von Jailbreak‑Verhalten im Verlauf eines Dialogs erfassen.