Neuer Ansatz verbessert In-Context-Lernleistung durch Label-Verteilung

In-Context Learning (ICL) nutzt bei Textklassifikationen nur wenige Beispiel‑Input‑Label‑Demonstrationen, um große Sprachmodelle (LLMs) zu trainieren. Dabei ist die Auswahl dieser Demonstrationen entscheidend für die Endleistung.

Aktuelle Auswahlverfahren konzentrieren sich überwiegend auf semantische Ähnlichkeit zwischen Testdaten und Demonstrationen. Sie vernachlässigen jedoch, wie gut die Verteilung der Labels in den Demonstrationen mit der des Testinputs übereinstimmt.

Um dieses Problem zu lösen, wurde ein zweistufiger Auswahlmechanismus namens TopK + Label‑Distribution‑Divergence (L2D) entwickelt. Dabei wird ein feinabgestimmtes, BERT‑ähnliches kleines Sprachmodell (SLM) eingesetzt, um für Testinputs und Kandidaten­demonstrationen die voraussichtlichen Label‑Verteilungen zu erzeugen. Anschließend wird die Divergenz dieser Verteilungen berechnet, sodass Demonstrationen ausgewählt werden, die nicht nur semantisch ähnlich, sondern auch label‑distributionell abgestimmt sind.

Umfangreiche Experimente an sieben Textklassifikations‑Benchmarks zeigen, dass L2D die bisherigen Auswahlstrategien konsequent übertrifft. Eine weitere Analyse verdeutlicht, dass die Leistung der LLMs positiv mit der Genauigkeit des zugrunde liegenden SLMs korreliert.

Der vorgestellte Ansatz demonstriert, wie die Berücksichtigung der Label‑Verteilung die Effektivität von In‑Context Learning in der Textklassifikation nachhaltig steigern kann.