Kontrastbasiertes Sampling stärkt In-Context- und In-Weights-Lernen

In einer neuen Studie wird gezeigt, wie ein gezieltes Sampling von Kontextbeispielen die Leistungsfähigkeit von Sprachmodellen in beiden Lernmodi – In-Context-Lernen (ICL) und In-Weights-Lernen (IWL) – gleichzeitig verbessern kann. Durch die Kombination von ähnlichen und zufälligen Beispielen innerhalb eines Kontexts entsteht ein dynamisches Lernumfeld, das die Modelle dazu anregt, sowohl kontextabhängige als auch gewichtungsbasierte Muster zu erfassen.

Die Forscher haben ein einfaches, aber wirkungsvolles Verfahren namens Contrastive-Context entwickelt. Dabei werden zwei Arten von Kontrasten eingesetzt: Erstens wird innerhalb eines Kontexts eine Mischung aus ähnlichen und zufälligen Beispielen erzeugt, um ein robustes ICL zu fördern. Zweitens variiert die Ähnlichkeit zwischen verschiedenen Kontexten, sodass das Modell lernt, zwischen ICL und IWL zu wechseln, je nachdem, welche Art von Information im jeweiligen Kontext relevanter ist.

Durch umfangreiche Experimente mit vier großen Sprachmodellen und mehreren Aufgaben konnte die Methode die Stabilität von ICL-IWL-Mischungen deutlich erhöhen. Diagnostische Tests bestätigten, dass die kontrastierten Kontexte das Risiko von Modellkollapsen – etwa in reine ICL- oder IWL-Formen oder das bloße Kopieren von Labels – reduzieren. Die Ergebnisse legen nahe, dass kontrastbasiertes Sampling ein vielversprechender Ansatz ist, um die Vielseitigkeit von Sprachmodellen in realen Anwendungsszenarien zu steigern.