Viele-Beispiel-Prompting: Testzeit-Anpassung von LLMs – Chancen & Grenzen

In der neuesten Studie von arXiv (2603.05829v1) wird die Testzeit-Anpassung von großen Sprachmodellen (LLMs) durch viele-Beispiel-Prompting genauer untersucht. Dabei werden zahlreiche In‑Context‑Learning‑Beispiele als Eingabe‑Update in den Testzeitprozess eingebracht, ohne dass die Modellparameter selbst verändert werden.

Die Autoren führen ein umfangreiches Experiment über verschiedene Aufgaben und Modellarchitekturen durch. Sie analysieren, wie sich die Leistung mit zunehmender Update‑Größe, der Reihenfolge der Beispiele und der Auswahlstrategie verändert. Zusätzlich werden dynamische und verstärkte ICL‑Methoden getestet, die gezielt steuern, welche Informationen in das Modell eingespeist werden und wie stark das Verhalten beeinflusst wird.

Die Ergebnisse zeigen, dass viele-Beispiel-Prompting besonders bei strukturierten Aufgaben, bei denen die Demonstrationen einen hohen Informationsgewinn liefern, wirksam ist. Gleichzeitig ist die Methode stark von der Auswahlstrategie abhängig und bietet bei offenen Generierungsaufgaben nur begrenzte Vorteile. Die Studie legt die praktischen Grenzen dieser Prompt‑basierten Testzeit‑Anpassung dar und gibt klare Hinweise darauf, wann Eingabe‑Updates nützlich sind und wann sie eher schaden können.