RippleBench: Automatisierte Messung von Nebenwirkungen bei Modell-Editierung

In der KI-Forschung sind gezielte Eingriffe in Sprachmodelle – etwa das Entfernen von Wissen, das Korrigieren von Vorurteilen oder das Bearbeiten von Modellen – zentrale Methoden, um das Verhalten von Modellen zu verbessern und aktuell zu halten. Diese Eingriffe wirken sich jedoch häufig auf verwandte, unerwünschte Bereiche aus, ein Phänomen, das als „Ripple‑Effect“ bezeichnet wird.

Das neue Tool RippleBench‑Maker bietet eine automatisierte Möglichkeit, Frage‑Antwort‑Datensätze zu generieren, mit denen die Ausbreitung solcher Nebenwirkungen in beliebigen Modell‑Editierungsaufgaben gemessen werden kann. Der Ansatz nutzt eine Wikipedia‑basierte Retrieval‑Augmented‑Generation‑Pipeline (WikiRAG), um Multiple‑Choice‑Fragen mit unterschiedlichen semantischen Distanzen zum Zielkonzept zu erstellen.

Mit diesem Rahmenwerk wurde RippleBench‑Bio entwickelt, ein Benchmark, der aus dem WMDP‑Datensatz (Weapons of Mass Destruction Paper) abgeleitet ist – einem häufig genutzten Unlearning‑Benchmark. Die Bewertung von acht führenden Unlearning‑Methoden zeigte, dass alle Methoden signifikante Genauigkeitsverluste aufweisen, wenn die Themen weiter vom entfernten Wissen entfernt sind, wobei jede Methode ein einzigartiges Ausbreitungsprofil aufweist.

Zur Förderung weiterer Forschung stellt das Team den Code für die Echtzeit‑Ripple‑Bewertung sowie den Benchmark RippleBench‑Bio frei. Damit erhalten Forscher ein praktisches Werkzeug, um die unbeabsichtigten Folgen von Modell‑Editierungen systematisch zu untersuchen und zu minimieren.