CluCERT: LLMs sicherer machen – Clustering‑basierte Denoising‑Smoothing

Large Language Models (LLMs) haben die Art und Weise, wie wir mit Technologie interagieren, grundlegend verändert. Trotz ihrer beeindruckenden Fähigkeiten bleiben sie jedoch anfällig für feine, aber wirkungsvolle Angriffe – zum Beispiel durch Synonym‑Substitutionen, die die Bedeutung erhalten, aber falsche Vorhersagen auslösen.

Die bisherige Forschung zur Robustheitszertifizierung konzentrierte sich vorwiegend auf Wortlöschungen oder einfache Denoising‑Strategien. Diese Ansätze führen zu losen Sicherheitsgrenzen, weil sie die semantische Qualität der veränderten Texte nicht prüfen, und sie sind rechenintensiv, weil sie viele Stichproben wiederholen müssen.

CluCERT löst diese Probleme mit einem neuartigen, clustering‑gesteuerten Denoising‑Smoothing‑Framework. Ein semantischer Clustering‑Filter reduziert verrauschte Stichproben und behält nur sinnvolle Störungen bei, was zu engeren Zertifizierungsgrenzen führt. Zusätzlich verbessert ein Refine‑Modul die Kernsemantik und eine schnelle Synonym‑Substitution beschleunigt den Denoising‑Prozess erheblich.

Umfangreiche Experimente auf verschiedenen Downstream‑Aufgaben und bei Jailbreak‑Defense‑Szenarien zeigen, dass CluCERT die bestehenden zertifizierten Methoden sowohl in Bezug auf die Robustheitsgrenzen als auch auf die Rechenleistung deutlich übertrifft.