Feinabstimmung von Sprachmodellen: Mathematisches Training ohne Vergessen
Beim Feintuning großer Sprachmodelle für spezialisierte Aufgaben wie mathematisches Denken tritt häufig ein Phänomen namens „catastrophisches Vergessen“ auf: Fähigkeiten, die das Modell zuvor erlernt hat, verschwinden p…