Neue DP‑RAG‑Algorithmen schützen Daten bei Mehrfachabfragen

Die neueste Forschung im Bereich Retrieval‑Augmented Generation (RAG) liefert zwei innovative Algorithmen, die große Sprachmodelle (LLMs) gleichzeitig leistungsfähig und datenschutzkonform machen. RAG‑Systeme holen bei der Inferenz Dokumente aus einem externen Korpus, doch wenn dieser sensible Informationen enthält, besteht die Gefahr, dass private Daten ungeschützt preisgegeben werden.

Frühere Ansätze zur Differential Privacy (DP) in RAG beschränkten sich auf Einzellanfragen – ein Szenario, das in der Praxis selten vorkommt. Das neue Papier untersucht stattdessen die realistischere Mehrfachabfrage‑Umgebung und stellt zwei DP‑RAG‑Methoden vor.

Der erste Ansatz, MURAG, nutzt einen individuellen Privatsphärenfilter. Dabei hängt der kumulierte Datenschutzverlust ausschließlich davon ab, wie oft ein bestimmtes Dokument abgerufen wird, und nicht von der Gesamtzahl der Anfragen. Dadurch bleibt die Privatsphäre auch bei vielen Abfragen gewahrt.

Der zweite Ansatz, MURAG‑ADA, baut darauf auf und verbessert die Nützlichkeit, indem er abfragebezogene Schwellenwerte privat freigibt. Diese feinere Steuerung ermöglicht eine präzisere Auswahl relevanter Dokumente, ohne die DP‑Sicherheit zu gefährden.

Experimentelle Ergebnisse mit verschiedenen LLMs und Datensätzen zeigen, dass beide Methoden bis zu mehreren hundert Anfragen innerhalb eines praktikablen DP‑Budgets (ε ≈ 10) skalieren und gleichzeitig eine bedeutende Nützlichkeit erhalten. Damit eröffnen MURAG und MURAG‑ADA einen vielversprechenden Weg, sensible Daten in RAG‑Systemen zu schützen, ohne die Leistungsfähigkeit der Modelle zu beeinträchtigen.