Neues Verfahren: Multimodales In-Context-Lernen mit Differenzierter Privatsphäre

Vision‑Language‑Modelle werden zunehmend in sensiblen Bereichen wie medizinischer Bildgebung und privaten Fotos eingesetzt. Bisher beschränkten sich differenzielle Privatsphäre‑Methoden für das In‑Context‑Lernen jedoch auf wenige Beispiele und ausschließlich auf Text. Das neue Verfahren DP‑MTV (Differenziell private multimodale Aufgabenvektoren) löst dieses Problem, indem es hunderte von Demonstrationen zu kompakten Aufgabenvektoren im Aktivationsraum zusammenfasst und damit ein vielschichtiges, many‑shot‑Lernen ermöglicht.

DP‑MTV teilt die privaten Daten in disjunkte Stücke auf, führt pro Schicht Clipping durch, um die Sensitivität zu begrenzen, und fügt anschließend ein kalibriertes Rauschen zum Aggregat hinzu. Durch die Einmaligkeit der Rauschaddition können unbegrenzt viele Inferenzabfragen gestellt werden, ohne die Privatsphäre zu gefährden.

In umfangreichen Tests auf acht Benchmarks und drei unterschiedlichen VLM‑Architekturen zeigte DP‑MTV bei einem ε‑Wert von 1,0 eine Genauigkeit von 50 % auf VizWiz – nahe an den 55 % des nicht‑privaten Modells und deutlich über den 35 % des Zero‑Shot‑Ansatzes. Damit bewahrt es den größten Teil des Nutzens des In‑Context‑Lernens, während es gleichzeitig robuste, formal definierte Privatsphäre‑Garantien bietet.