Neues Finetuning-Verfahren verbessert mathematisches Denken von KI-Modellen

In der KI-Forschung hat sich Parameter‑Effizientes Finetuning (PEFT) als Schlüsseltechnologie etabliert, um die Leistung von Modellen bei spezifischen Aufgaben zu steigern, indem nur ein kleiner Teil der Parameter angepasst wird. Ein weiterentwickelter Ansatz, Representation Finetuning (ReFT), geht noch einen Schritt weiter: Die Modellgewichte bleiben unverändert, während interne Repräsentationen optimiert werden. Dadurch erreicht ReFT in vielen Bereichen eine höhere Effizienz als PEFT.

Allerdings zeigte ReFT bei Aufgaben des mathematischen Denkens erhebliche Schwächen. Die Autoren des neuen Papers identifizierten, dass ReFT Schwierigkeiten hat, effektive „Reasoning Prefixes“ – die ersten Schritte der logischen Argumentation – zu generieren. Zusätzlich stört das Verfahren die numerische Codierung und führt zu Fehlerakkumulationen während der Chain‑of‑Thought‑Phase.

Um diese Probleme zu beheben, stellen die Forscher Bias‑REstrained Prefix Representation FineTuning (BREP ReFT) vor. Das Verfahren beschneidet die Trainingsdaten gezielt, um die Erzeugung von Anfangs‑Prefixes zu optimieren, greift frühzeitig in die Inferenz ein, um Fehler zu verhindern, und begrenzt die Größe der Interventionsvektoren, damit die numerische Kodierung nicht verfälscht wird. Durch diese Kombination verbessert BREP ReFT die mathematische Leistungsfähigkeit deutlich.

Umfangreiche Experimente mit verschiedenen Modellarchitekturen zeigen, dass BREP ReFT nicht nur effizienter ist, sondern auch eine robustere Generalisierung aufweist und sowohl ReFT als auch PEFT bei mathematischen Aufgaben übertrifft. Der Quellcode ist öffentlich zugänglich unter https://github.com/LiangThree/BREP.