MetaGDPO: Metakognitive Daten und GDPO reduzieren Vergessen bei kleinen LLMs

Die neuesten Erkenntnisse aus der Forschung zeigen, dass große Sprachmodelle zwar beeindruckende Denkfähigkeiten besitzen, diese aber bei der Kompression in kleinere Modelle häufig zu einem katastrophalen Vergessen führen. Besonders Modelle unter 8 Billionen Parametern verlieren dabei wichtige zuvor erlernte Fertigkeiten, weil die Trainingsdaten und -methoden die Beziehung zwischen dem vorhandenen Wissen und den inhärenten Fähigkeiten des Modells vernachlässigen.

Um diesem Problem entgegenzuwirken, hat das Team einen neuen Datensatz mit 5 000 sorgfältig ausgewählten Instanzen erstellt, der mehrere Denkaufgaben abdeckt und gezielt metakognitive Kenntnisse enthält. Jede Aufgabe wird mit den dafür notwendigen metakognitiven Informationen annotiert, und die Daten werden anhand des Aufgabenwissens sowie der bereits vorhandenen Fähigkeiten des Modells gefiltert. Dadurch wird die Distillation in kleinere Modelle deutlich robuster und effektiver.

Auf der Trainingsseite wird die Methode Group Direction Preference Optimization (GDPO) eingeführt. GDPO ist besonders für ressourcenbeschränkte Szenarien geeignet und kann die Leistung von GRPO effizient nachahmen. Durch die Führung eines großen Referenzmodells und die implizite Einschränkung des Optimierungswegs sorgt GDPO für einen gezielten Wissenstransfer und verhindert übermäßige Parameteränderungen. Umfangreiche Experimente belegen, dass diese Kombination die Leistung kleinerer Modelle erheblich steigert und das Vergessen von zuvor erlernten Fähigkeiten minimiert.