Private In-Context Learning: 30 % Genauigkeitszuwachs dank Product-of-Experts

Ein neues Verfahren aus dem Bereich der künstlichen Intelligenz verspricht, die Art und Weise, wie große Sprachmodelle (LLMs) Aufgaben lernen, grundlegend zu verändern. Durch die Kombination von In-Context Learning (ICL) mit einem Product-of-Experts-Ansatz können LLMs nicht nur schneller und ohne aufwändige Feinabstimmung neue Aufgaben erlernen, sondern dabei auch sensible Daten besser schützen.

Traditionelle Methoden zur Gewährleistung von Datenschutz bei ICL, wie Differential Privacy (DP), sind oft rechenintensiv oder setzen auf heuristische Techniken, die nur begrenzte Wirkung zeigen. Das neue Verfahren nutzt stattdessen die mathematische Struktur eines Product-of-Experts-Modells, um Datenschutz theoretisch fundiert zu integrieren. Gleichzeitig lässt sich der Algorithmus leicht parallelisieren, was die Rechenkosten deutlich senkt.

In umfangreichen Tests auf fünf unterschiedlichen Datensätzen – darunter Textklassifikation, Mathematikaufgaben und Vision‑Language‑Szenarien – konnte das System die Genauigkeit im Vergleich zu bisherigen DP‑ICL‑Methoden um mehr als 30 % steigern. Trotz dieser Leistungsverbesserung bleiben die Datenschutzgarantien stark, sodass die Modelle keine vertraulichen Informationen preisgeben.

Die Ergebnisse zeigen, dass ein durchdachter theoretischer Ansatz nicht nur die Effizienz, sondern auch die Sicherheit von KI‑Systemen erhöhen kann. Das neue Verfahren eröffnet damit spannende Perspektiven für den Einsatz von LLMs in sensiblen Anwendungsbereichen, in denen Datenschutz und hohe Genauigkeit gleichermaßen gefordert sind.