MetaGDPO: Metakognitive Daten und GDPO reduzieren Vergessen bei kleinen LLMs
Die neuesten Erkenntnisse aus der Forschung zeigen, dass große Sprachmodelle zwar beeindruckende Denkfähigkeiten besitzen, diese aber bei der Kompression in kleinere Modelle häufig zu einem katastrophalen Vergessen führ…