LLMs in sensiblen Bereichen: Leichtgewichtiges Unlearning für Datenschutz

In politisch sensiblen Umgebungen werden immer häufiger große Sprachmodelle (LLMs) eingesetzt. Dabei besteht die Gefahr, dass persönliche Daten oder vertrauliche Inhalte ungewollt gespeichert und wiedergegeben werden – ein Problem, das unter dem Datenschutzrecht, insbesondere dem „Recht auf Vergessen“ der DSGVO, stark reguliert ist.

Die Umsetzung dieser rechtlichen Vorgaben in hochkomplexen generativen Systemen ist technisch herausfordernd. Ein neues Verfahren, das auf einer leichtgewichtigen sequenziellen Unlearning-Strategie basiert, bietet hier eine praktikable Lösung. Zunächst wird die Basisfähigkeit des Modells durch positives Fein‑Tuning stabilisiert. Anschließend erfolgt ein gezieltes, schichtbeschränktes negatives Fein‑Tuning, das spezifische, sensible Muster unterdrückt, ohne die allgemeine Sprachkompetenz zu beeinträchtigen.

Die Methode wurde am SemEval‑2025 LLM Unlearning Benchmark getestet. Die Ergebnisse zeigen, dass das Verhalten des Modells effektiv unterdrückt werden kann, während die Faktengenauigkeit und die Sprachflüssigkeit nahezu unverändert bleiben. Besonders GPT‑2 demonstriert dabei eine höhere Robustheit als DistilGPT‑2, was die Bedeutung der Modellkapazität für eine datenschutzorientierte Anpassung unterstreicht.

Dieses sequenzielle Unlearning-Framework stellt einen praktischen, reproduzierbaren Ansatz dar, um die Anforderungen an Datenlöschung in politisch eingesetzten LLMs zu erfüllen. Es bietet Unternehmen und Forschungseinrichtungen ein Werkzeug, um ihre Systeme sowohl leistungsfähig als auch rechtskonform zu gestalten.