Bayesian-LoRA: Probabilistische Low‑Rank‑Anpassung für bessere Kalibrierung großer Sprachmodelle

In einer neuen Studie wird Bayesian-LoRA vorgestellt, eine Methode, die die klassische LoRA‑Aktualisierung in ein probabilistisches Low‑Rank‑Modell überführt. Durch die Inspiration aus Sparse Gaussian Processes entsteht eine strukturierte Ähnlichkeit zwischen der LoRA‑Faktorisierung und Kronecker‑geformten SGP‑Posterioren. Wenn die Unsicherheit im Posterior zusammenfällt, reduziert sich Bayesian-LoRA auf die herkömmliche LoRA‑Variante.

Die Autoren haben die Technik an verschiedenen großen Sprachmodellen bis zu 30 B Parametern getestet. Mit lediglich rund 0,42 M zusätzlichen Parametern und etwa 1,2‑facher Trainingskosten im Vergleich zu Standard-LoRA konnte die Kalibrierung signifikant verbessert werden. Die Ergebnisse zeigen eine Reduktion der erwarteten Kalibrierungsfehler (ECE) um bis zu 84 % und der negativen Log‑Likelihood (NLL) um 76 %, während die Genauigkeit bei In‑Distribution‑ und Out‑of‑Distribution‑Tests nahezu unverändert bleibt.

Bayesian-LoRA demonstriert damit, dass probabilistische Low‑Rank‑Anpassungen nicht nur die Modellleistung erhalten, sondern auch die Zuverlässigkeit der Vorhersagen erhöhen. Diese Fortschritte sind besonders wichtig für Anwendungen, bei denen Fehlkalibrierung zu schwerwiegenden Konsequenzen führen kann, etwa in der medizinischen Diagnostik oder bei autonomen Systemen.