Learning Rate ist entscheidend: Vanilla LoRA reicht für LLM-Fine‑Tuning
Low‑Rank Adaptation (LoRA) bleibt die führende Methode für effizientes Fine‑Tuning großer Sprachmodelle. In den letzten Jahren wurden jedoch verschiedene Initialisierungsstrategien und architektonische Änderungen vorges…