Angriff auf dezentrale GRPO: Wie böswillige Token LLMs kompromittieren

Die neueste Studie von Forschern aus dem Bereich der künstlichen Intelligenz hat einen bislang unbekannten Angriff auf das dezentrale Group Relative Policy Optimization (GRPO) System aufgedeckt. GRPO wird zunehmend für die Feinabstimmung großer Sprachmodelle (LLMs) eingesetzt, weil es dank geringer Kommunikationsanforderungen mehrere Knoten gleichzeitig nutzen lässt.

In dem veröffentlichten Paper wird gezeigt, dass Angreifer durch das Einfügen von schädlichen Tokens in scheinbar harmlosen Modellen sowohl im Kontext als auch außerhalb des Kontexts die Lernprozesse von GRPO manipulieren können. Durch gezielte Injektionen werden die lokalen Modelle von mehreren Knoten in nur 50 Iterationen vollständig kompromittiert – ein Erfolgsrate von bis zu 100 %.

Die Autoren demonstrierten die Angriffsmethode anhand von Mathematik- und Programmieraufgaben, wobei die bösartigen Tokens die Post‑Training‑Phase der LLMs nachhaltig verfälschten. Um dem entgegenzuwirken, schlagen die Forscher zwei Verteidigungsstrategien vor: eine für Szenarien, in denen alle Nutzer dasselbe Modell trainieren, und eine für Fälle, in denen unterschiedliche Modelle verwendet werden.

Beide Schutzmechanismen konnten in den Experimenten eine Unterbrechungsrate von 100 % erreichen, wodurch die Angriffe praktisch unmöglich gemacht werden. Diese Erkenntnisse unterstreichen die Notwendigkeit robuster Sicherheitsmaßnahmen bei der dezentralen Optimierung von Sprachmodellen und geben wertvolle Hinweise für die Entwicklung zukunftssicherer KI‑Systeme.