ReBaPL: Neue Bayesianische Prompt‑Lernmethode verbessert Generalisierung

Prompt‑Learning hat sich als effektive Technik zur Feinabstimmung großer Basismodelle für spezifische Aufgaben etabliert. Traditionelle Methoden neigen jedoch zum Overfitting und zeigen oft Schwächen bei der Generalisierung außerhalb der Trainingsverteilung.

Um diese Grenzen zu überwinden, wird Prompt‑Optimierung als Bayesianisches Inferenzproblem formuliert. Das neue Verfahren ReBaPL (Repulsive Bayesian Prompt Learning) nutzt dafür einen zyklischen Schrittgrößenschema in Kombination mit stochastic gradient Hamiltonian Monte Carlo (SGHMC). Dadurch werden Phasen intensiver Exploration und gezielter Ausnutzung abwechselnd eingesetzt, um neue Posterior‑Moden zu entdecken und bestehende zu verfeinern.

Ein zentrales Merkmal von ReBaPL ist die Einführung einer abstoßenden Kraft, die aus einer Potentialfunktion über Wahrscheinlichkeitsmetriken – darunter Maximum Mean Discrepancy und Wasserstein‑Distanz – abgeleitet wird. Diese Kraft wirkt auf die Repräsentationsverteilungen, die von unterschiedlichen Prompts erzeugt werden, und sorgt für eine diversifizierte Erkundung des Posterior‑Raums. So wird ein vorzeitiger Zusammenbruch auf eine einzige Modus verhindert.

Durch die umfassendere Charakterisierung der Prompt‑Posteriorverteilung erzielt ReBaPL eine verbesserte Generalisierung. Im Gegensatz zu früheren bayesianischen Prompt‑Learning‑Ansätzen lässt sich ReBaPL modular als Plug‑and‑Play-Erweiterung in jede bestehende Prompt‑Lernmethode einbinden, die auf Maximum‑Likelihood‑Schätzung basiert.