CrossPT: Mehrere Aufgaben mit Prompt‑Tuning effizient übertragen

Ein neues Verfahren namens CrossPT eröffnet die Möglichkeit, große Sprachmodelle gezielt für mehrere Aufgaben gleichzeitig zu optimieren. Dabei wird das klassische Prompt‑Tuning um ein moduläres System erweitert, das Wissen zwischen verwandten Aufgaben teilen kann, ohne die spezifische Leistung einzelner Aufgaben zu beeinträchtigen.

CrossPT zerlegt jeden Ziel‑Prompt in drei Bestandteile: ein gemeinsames, vortrainiertes Prompt, mehrere Quell‑Prompts und ein privates Prompt, das ausschließlich für die jeweilige Aufgabe bestimmt ist. Durch einen lernbaren Aufmerksamkeitsmechanismus werden diese Komponenten kombiniert, sodass das Modell sowohl von allgemeinen Mustern als auch von task‑spezifischen Nuancen profitiert.

Die Autoren haben systematisch verschiedene Designentscheidungen untersucht – von der Initialisierung der Prompts über die Balance zwischen gemeinsamem und privatem Prompt bis hin zu Lernraten, Task‑Präfixen und Label‑Semantik. Auf den GLUE‑Benchmarks und verwandten Tests zeigte CrossPT deutlich höhere Genauigkeiten und Robustheit, insbesondere bei Aufgaben mit wenigen Trainingsdaten, und bleibt dabei äußerst parameter‑effizient.

CrossPT beweist damit, dass Prompt‑Tuning nicht mehr auf einzelne Aufgaben beschränkt sein muss. Durch die Kombination von geteiltem Wissen und gezielter Spezialisierung können Sprachmodelle nun schneller und ressourcenschonender für vielfältige Anwendungen angepasst werden.