Neues Finetuning-Verfahren verbessert mathematisches Denken von KI-Modellen
In der KI-Forschung hat sich Parameter‑Effizientes Finetuning (PEFT) als Schlüsseltechnologie etabliert, um die Leistung von Modellen bei spezifischen Aufgaben zu steigern, indem nur ein kleiner Teil der Parameter angepasst wird. Ein weiterentwickelter Ansatz, Representation Finetuning (ReFT), geht noch einen Schritt weiter: Die Modellgewichte bleiben unverändert, während interne Repräsentationen optimiert werden. Dadurch erreicht ReFT in vielen Bereichen eine höhere Effizienz als PEFT.
