LoRA-Parameter: Lernrate skaliert je nach Rank – Transfer zu vollem Finetuning
Low‑Rank Adaptation (LoRA) bleibt ein beliebtes Werkzeug, um große Modelle mit wenigen zusätzlichen Parametern zu verfeinern. Trotz des geringen Speicherverbrauchs zeigen die Trainingsdynamiken von LoRA überraschend kom…