Neue Distillationsmethode nutzt privilegierte Infos für bessere Sprachmodelle
Forscher haben eine neue Technik entwickelt, mit der Sprachmodelle durch „privilegierte Informationen“ (PI) während des Trainings außergewöhnliche Leistungen erzielen können. Das Problem besteht darin, dass PI nur im Training verfügbar ist, während die Modelle im Einsatz ohne diese Zusatzinformationen arbeiten müssen.
