LLM‑Alignment: Minimale Kosten bei Label‑Flip‑Poisoning‑Angriffen

In einer neuen Studie von Forschern auf arXiv (Arbeitstitel: Cost‑Minimized Label‑Flipping Poisoning Attack to LLM Alignment) wird gezeigt, wie Angreifer mit minimalem Aufwand die Richtungsentscheidung von großen Sprachmodellen (LLMs) manipulieren können. Durch das gezielte Umkehren von Präferenz‑Labels während der Reinforcement‑Learning‑from‑Human‑Feedback‑ bzw. Direct‑Policy‑Optimization‑Phase lassen sich die Modelle auf ein gewünschtes Ziel ausrichten, ohne die eigentlichen Ausgaben zu verändern.

Die Autoren formulieren das Problem als konvexes Optimierungsmodell mit linearen Nebenbedingungen und ermitteln sowohl untere als auch obere Schranken für die notwendige Angriffskosten. Diese theoretische Grundlage ermöglicht es, bestehende Label‑Flip‑Angriffe zu optimieren: Durch ein spezielles Post‑Processing können die Anzahl der erforderlichen Label‑Umkehrungen reduziert werden, während die Wirksamkeit des Angriffs erhalten bleibt.

Experimentelle Ergebnisse belegen, dass die Kostenreduktion besonders stark ausgeprägt ist, wenn die Dimension des Reward‑Modells im Vergleich zur Datensatzgröße klein ist. Die Arbeit unterstreicht damit die grundlegenden Schwachstellen von RLHF/DPO‑Pipelines und liefert praktische Werkzeuge, um deren Robustheit gegenüber kostengünstigen Poisoning‑Angriffen zu prüfen.