GateRA: Tokenbasierte Modulation für effizientes Feintuning von Parametern
GateRA ist ein neues Framework, das Parameter‑Effizientes Feintuning (PEFT) auf ein neues Level hebt. Während etablierte Methoden wie LoRA, DoRA und HiRA durch statische, tokenunabhängige Updates arbeiten, berücksichtigt GateRA die unterschiedliche Wichtigkeit und Schwierigkeit einzelner Tokens. Dadurch wird das Modell gezielt dort angepasst, wo es wirklich nötig ist.
