TwIST: Effiziente Sparsifizierung von LLMs ohne Nachbearbeitung
Mit dem neuen Framework TwIST wird die Sparsifizierung großer Sprachmodelle revolutioniert. Durch paralleles Training mehrerer Subnetzwerke, deren periodische Parameteraggregation und das wiederholte Resampling neuer Subnetzwerke identifiziert TwIST automatisch hochwertige „goldene Tickets“ – leistungsstarke, sparsifizierte Modelle – ohne jegliche Nachbearbeitung.
