Neues Verfahren ermöglicht gezieltes Vergessen von Entitäten in Sprachmodellen

Sprachmodelle wie GPT-4 können unbeabsichtigt sensible, urheberrechtlich geschützte oder schädliche Informationen aus ihren Trainingsdaten behalten. Um dieses Risiko zu minimieren, wird das Konzept des „entity‑level unlearning“ eingesetzt, bei dem sämtliche Kenntnisse zu einer bestimmten Entität entfernt werden, während die generelle Leistungsfähigkeit des Modells erhalten bleibt.

Traditionelle Ansätze zum Unlearning setzen häufig auf vollständiges Fein‑Tuning des Modells oder auf promptbasierte Interventionen. Diese Methoden sind jedoch rechenintensiv und können bei paraphrasierten Anfragen unzuverlässig werden. Model‑Editing hat sich als effizientere Alternative etabliert, doch bisher konzentrierten sich die Techniken auf einzelne Instanzen, nicht auf das komplette Vergessen einer Entität.

In der vorliegenden Arbeit wird ein neues „Consistency‑Aware Editing“ (CAE)-Framework vorgestellt. CAE sammelt eine Vielzahl von Prompt‑Varianten zu einer Ziel‑Entität – darunter Attribute, Beziehungen und adversariale Paraphrasen – und lernt gleichzeitig eine Low‑Rank‑Aktualisierung. Ein Konsistenz‑Regulär sorgt dafür, dass die Bearbeitungsrichtungen über alle Prompts hinweg ausgerichtet sind, was zu einem robusten und umfassenden Vergessen führt, ohne gleichzeitig andere Wissensbereiche zu beeinträchtigen.

Die Autoren untersuchen zudem, wo im Modell die Informationen zu unterschiedlichen Entitäten gespeichert sind und wie viele diverse Prompts für ein erfolgreiches Unlearning erforderlich sind. Auf zwei anspruchsvollen Benchmarks demonstriert CAE seine Effektivität und Effizienz, was einen wichtigen Schritt in Richtung verantwortungsvoller KI‑Entwicklung darstellt.