Neue Theorie: In-Context Learning bleibt robust gegen Angriffe

Große Sprachmodelle passen sich ohne Parameteränderungen an neue Aufgaben an – ein Prozess, der als In-Context Learning (ICL) bekannt ist. Bisherige Erklärungen gehen davon aus, dass Testaufgaben aus einer ähnlichen Verteilung wie die Trainingsdaten stammen. Diese Annahme ignoriert jedoch mögliche Angriffe, die die Zuverlässigkeit in der Praxis gefährden.

Um diesem Problem zu begegnen, hat ein Forschungsteam ein robustes Meta-Learning-Framework entwickelt, das Worst-Case-Leistungsgarantien für ICL unter Wasserstein-basierten Verteilungsverschiebungen liefert. Im Fokus stehen lineare Self-Attention-Transformer, für die ein nicht-asymptotischer Zusammenhang zwischen der Stärke adversarialer Störungen (ρ), der Modellkapazität (m) und der Anzahl der In-Context-Beispiele (N) abgeleitet wurde.

Die Analyse zeigt, dass die Robustheit proportional zur Quadratwurzel der Kapazität wächst (ρ_max ∝ √m), während die Sample-Complexity bei Angriffsbedingungen um ein Vielfaches der Störungsgröße quadratisch zunimmt (N_ρ – N_0 ∝ ρ²). Experimentelle Ergebnisse auf synthetischen Aufgaben bestätigen diese Skalierungsgesetze.

Diese Erkenntnisse erweitern das theoretische Verständnis der Grenzen von ICL unter adversarialen Bedingungen und unterstreichen die Modellkapazität als entscheidende Ressource für die Verteilungsrobustheit.