Neues Prompt-Sharing-Framework verbessert kontinuierliches Lernen

Ein neues Verfahren aus dem arXiv-Preprint 2601.20894v1 zeigt, dass Prompt-basiertes kontinuierliches Lernen deutlich effizienter und effektiver sein kann, wenn Prompts nicht fest an einzelne Aufgaben gebunden werden. Statt jeder Aufgabe ein eigenes, isoliertes Prompt-Set zuzuweisen, baut das vorgeschlagene System einen globalen Prompt-Pool auf und nutzt einen task‑aware, gated Routing-Mechanismus, um nur einen sparsamen Teil der Prompts pro Aufgabe zu aktivieren. Dadurch wird die Trennung von Aufgaben dynamisch gelöst und die gemeinsame Optimierung von Aufgaben‑spezifischen Merkmalen ermöglicht.

Ein weiteres Highlight ist der history‑aware Modulator, der die Aktivierungsstatistiken aller Prompts sammelt und häufig genutzte Prompts vor übermäßigen Updates schützt. Dieser Ansatz reduziert ineffiziente Parameterverwendung und verhindert, dass Wissen durch zu starke Anpassungen verloren geht. Umfangreiche Analysen und Experimente belegen, dass das neue Prompt‑Sharing-Framework bestehende statische Allokationsstrategien in Bezug auf Effektivität und Effizienz konsequent übertrifft.