Leichtgewichtiger, erklärbarer Schutzmechanismus für sichere Prompt-Klassifizierung

In einer bahnbrechenden Veröffentlichung stellen die Autoren einen leichtgewichtigen, erklärbaren Schutzmechanismus vor, der die Sicherheit von Prompt‑Klassifikationen in großen Sprachmodellen verbessert.

Der Ansatz, genannt LEG, nutzt eine Multi‑Task‑Lernarchitektur, die gleichzeitig einen Prompt‑Classifier und einen Erklärung‑Classifier trainiert. Letzterer markiert die Wörter im Prompt, die die Entscheidung, ob ein Prompt sicher oder unsicher ist, begründen.

LEG wird mit synthetisch generierten Daten für die Erklärbarkeit trainiert, wobei eine neuartige Strategie eingesetzt wird, die die Bestätigungsfehler von LLMs ausgleicht. Der Trainingsprozess verwendet einen innovativen Verlust, der globale Erklärungssignale erfasst und Kreuzentropie sowie Focal Loss mit einer Unsicherheitsgewichtung kombiniert.

Ergebnisse zeigen, dass LEG die Leistung der aktuellen Spitzenreiter bei Prompt‑Klassifikation und Erklärbarkeit gleichermaßen erreicht oder übertrifft – sowohl im als auch außerhalb des Trainingsdatensatzes – und dabei deutlich kleiner ist. Bei Annahme werden die Modelle und das annotierte Datenset öffentlich zugänglich gemacht.