MPCI-Bench: Neuer multimodaler Test für Datenschutz bei Sprachagenten

Mit dem Aufkommen von Sprachmodellagenten, die von reinen Chatbots zu proaktiven Assistenten werden, steigt die Notwendigkeit, deren Einhaltung sozialer Normen zu prüfen. Dabei spielt die Theorie der Kontextualen Integrität (CI) eine zentrale Rolle, doch bisherige Benchmarks konzentrieren sich fast ausschließlich auf Text und auf das Ablehnen von Anfragen. MPCI‑Bench ist die erste multimodale, paarweise CI-Benchmark, die speziell die Privatsphäre von Agenten in realen Anwendungsszenarien bewertet.

Der Test besteht aus drei Ebenen: normative Seed‑Urteile, kontextreiche Story‑Logik und ausführbare Agenten‑Spuren. Jede Ebene nutzt identische visuelle Quellen, um positive und negative Beispiele zu erzeugen. Durch einen dreiphasigen, iterativen Verfeinerungsprozess wird die Datenqualität sichergestellt.

Evaluierungen führender multimodaler Modelle zeigen, dass sie häufig die Balance zwischen Privatsphäre und Nutzen nicht halten und dabei sensible Bildinformationen stärker preisgeben als Text. MPCI‑Bench wird als Open‑Source‑Projekt veröffentlicht, um die Forschung zu agentenbasierter CI weiter voranzutreiben.