Neue Distillationstechnik erhöht Angriffe auf LLM-basierte Empfehlungssysteme

Forscher haben ein neues Angriffskonzept entwickelt, das die Sicherheit von großen Sprachmodellen (LLM) in Empfehlungssystemen gefährdet. Dabei nutzt die Methode Knowledge Distillation, um ein starkes Referenzmodell zu erzeugen, das zwischen Trainingsdaten und nicht‑Trainingsdaten unterscheiden kann.

Im Gegensatz zu herkömmlichen Membership‑Inference‑Attacks (MIA), die auf Schatten‑Modellen basieren, ist die Distillation besonders geeignet für die komplexen und umfangreichen Trainingsdaten von LLM‑basierten Systemen. Durch getrennte Distillation für Mitglieder- und Nicht‑Mitglieder‑Daten wird die Trennschärfe des Modells deutlich verbessert.

Das neue Paradigma sammelt individuelle Merkmale aus dem Referenzmodell und trainiert damit einen Angriffs­modell, das die Angriffsleistung gegenüber klassischen Schatten‑Modell‑Ansätzen übertrifft. Die Ergebnisse zeigen, dass die Distillationstechnik die Effektivität von MIA auf Empfehlungssysteme mit großen Sprachmodellen signifikant steigert.