AsynDBT: Asynchrones Bilevel‑Tuning für effizientes In‑Context‑Lernen mit LLMs

Mit dem rasanten Aufstieg großer Sprachmodelle (LLMs) greifen immer mehr Anwendungen auf cloudbasierte LLM‑APIs zurück, um Kosten zu senken. Da die Parameter und Gradienten dieser Modelle jedoch nicht einsehbar sind, müssen Anwender ihre Prompts manuell oder über heuristische Verfahren anpassen – ein aufwendiger Prozess, der hohe Optimierungskosten verursacht.

In‑Context‑Learning (ICL) hat sich als vielversprechendes Paradigma etabliert, das LLMs erlaubt, sich an neue Aufgaben anzupassen, indem Beispiele direkt im Eingabetext bereitgestellt werden. Dadurch entfällt die Notwendigkeit, Modellparameter zu aktualisieren. Der Fortschritt von ICL wird jedoch häufig durch das Fehlen hochwertiger, sensibler Daten behindert, die nicht frei geteilt werden können.

Federated Learning (FL) bietet hier eine Lösung, indem es die kollaborative Schulung verteilter LLMs ermöglicht und gleichzeitig die Privatsphäre der Daten wahrt. Bisherige FL‑Ansätze, die ICL integrieren, kämpfen jedoch mit erheblichen Straggler‑Problemen und Herausforderungen durch heterogene, nicht identisch verteilte Daten.

Die neue Methode AsynDBT – asynchrones, verteiltes Bilevel‑Tuning – adressiert diese Probleme, indem sie sowohl die ICL‑Beispiele als auch die Prompt‑Fragmente gleichzeitig optimiert. Durch die Rückmeldung des LLMs werden die Lernmaterialien kontinuierlich verbessert, was die Leistung bei nachgelagerten Aufgaben deutlich steigert. Dank seiner verteilten Architektur schützt AsynDBT die Daten und ist gleichzeitig an heterogene Rechenumgebungen anpassbar.

Zusätzlich liefert die Arbeit eine theoretische Analyse, die Konvergenzgarantien für den Algorithmus nachweist. Umfangreiche Experimente bestätigen die Wirksamkeit von AsynDBT und zeigen, dass es die Effizienz von In‑Context‑Learning in federated settings signifikant erhöht.