LoRA-Adapter werden dank Vektor‑Datenbank dynamisch kombiniert

Parameter‑effiziente Fein‑Tuning‑Methoden wie LoRA haben die Anpassung großer Sprachmodelle an spezifische Aufgaben revolutioniert. Dennoch bleibt die effiziente Zusammensetzung mehrerer spezialisierter Adapter für bislang unbekannte Aufgaben eine Herausforderung.

In der neuen Studie wird ein dynamisches LoRA‑Adapter‑Kompositionsframework vorgestellt, das die Ähnlichkeitsabfrage in Vektor‑Datenbanken nutzt, um Zero‑Shot‑Generalisation über verschiedene NLP‑Aufgaben zu ermöglichen.

Das System baut eine auf Aufgaben ausgerichtete Vektor‑Datenbank auf, indem es Trainingsbeispiele aus 22 Datensätzen – darunter Commonsense Reasoning, Question Answering, Natural Language Inference und Sentiment Analysis – einbettet. Die Embeddings bleiben während des gesamten Prozesses unverändert.

Während der Inferenz werden die ähnlichsten Trainingsbeispiele abgerufen, eine Aufgaben‑ähnlichkeitsverteilung mittels Nucleus‑Sampling berechnet und die relevanten LoRA‑Adapter dynamisch mit retrieval‑gewichteten Fusion‑Strategien zusammengeführt. Dabei wurden vier Merging‑Methoden – Linear, Concatenation, TIES und Magnitude Prune – evaluiert.

Die Ergebnisse zeigen, dass der datenzentrierte Retrieval‑Ansatz häufig die Leistung einzelner, task‑spezifisch fein‑getunter Adapter erreicht oder übertrifft. Besonders die Linear‑Fusion erzielte 70,95 % bei PIQA und 77,62 % bei RTE, deutlich besser als die Single‑Task‑Baselines von 46 % bzw. 52 %.

Das Framework erfordert keine zusätzliche Retriever‑Schulung, arbeitet mit eingefrorenen Embeddings und ermöglicht eine effiziente, interpretierbare Adapter‑Komposition. Diese Erkenntnisse deuten darauf hin, dass retrieval‑basierte dynamische Fusion ein vielversprechender Ansatz für skalierbares, parameter‑effizientes Multitask‑Learning darstellt, ohne jedes Mal das gesamte Modell neu zu trainieren.