Bayessche Stiefel-Adapter: Kalibrierte PEFT für zuverlässige Sprachmodelle

Parameter‑effizientes Fine‑Tuning wie LoRA ermöglicht die praktische Anpassung großer Sprachmodelle, liefert jedoch keine verlässlichen Unsicherheitsabschätzungen. Das neue Verfahren Stiefel‑Bayes Adapters (SBA) adressiert dieses Problem, indem es einen Matrix‑Langevin‑Prior auf der Stiefel‑Mannigfaltigkeit ansetzt und die Posterior‑Inference über eine Tangential‑Laplace‑Approximation mit geodesischer Retraktion durchführt.

Der Prior auf der Mannigfaltigkeit garantiert, dass die Adapter‑Subräume gut konditioniert und orthogonal bleiben – ein struktureller Vorteil gegenüber flachen Gaussian‑Prädispositionen, die orthogonale Einschränkungen nur indirekt berücksichtigen. Durch die explizite Arbeit im Tangentialraum wird die Varianzinflation, die bei Projektionen aus dem umgebenden Raum entsteht, vermieden, was die theoretische Robustheit von SBA unterstreicht.

In umfangreichen Tests auf GLUE, SuperGLUE und einer abstrakten Zusammenfassungsaufgabe zeigen die SBA‑Adapter eine Leistung, die LoRA und DoRA gleichwertig ist. Gleichzeitig reduzieren sie die Expected Calibration Error um 18 % bis 34 % gegenüber deterministischen Baselines, steigern die AUROC für selektive Vorhersagen unter Domain‑Shift um 12 % bis 25 % und übertreffen Deep‑Ensembles von fünf LoRA‑Modellen bei der OOD‑Erkennung – und das zu einem Bruchteil der Rechenkosten.

Mit SBA erhalten Anwender von großen Sprachmodellen nicht nur effiziente Anpassungen, sondern auch robuste, kalibrierte Unsicherheitsabschätzungen, die das Vertrauen in KI‑Entscheidungen in unsicheren Umgebungen deutlich erhöhen.