Bi-LoRA: Effizientes Sharpness‑Aware Fine‑Tuning für große Modelle
Die Feinabstimmung von hochgradig vortrainierten Modellen mit nur wenigen Daten bleibt eine große Herausforderung. Der Ansatz Sharpness‑Aware Minimization (SAM) verbessert zwar die Generalisierung, erfordert jedoch erhebliche zusätzliche Speicher- und Rechenressourcen, die bei sehr großen Modellen kaum praktikabel sind.
