KI News: Kurz und klar.

Ein neues arXiv-Preprint (2602.09169v1) präsentiert einen innovativen Ansatz, um große Sprachmodelle effizient an spezifische Aufgaben anzupassen. Der Autor zeigt, dass das vollständige Finetuning von Modellen mit Milliarden Parametern oft unpraktisch ist, weil es enorme Rechenkosten, Speicherbedarf und das Risiko von Overfitting mit sich bringt.

Mit dem neuen Framework TwIST wird die Sparsifizierung großer Sprachmodelle revolutioniert. Durch paralleles Training mehrerer Subnetzwerke, deren periodische Parameteraggregation und das wiederholte Resampling neuer Subnetzwerke identifiziert TwIST automatisch hochwertige „goldene Tickets“ – leistungsstarke, sparsifizierte Modelle – ohne jegliche Nachbearbeitung.

In der aktuellen Forschung gewinnt das Mergen von Modellen zunehmend an Bedeutung, weil dadurch die Stärken mehrerer Expertenmodelle zu einem einzigen Multitask-Modell zusammengeführt werden können. Dadurch entfällt die Notwendigkeit, ein vortrainiertes Modell für jede Aufgabe von Grund auf neu zu feinabstimmen.

Die Ausführung großer Sprachmodelle auf Edge‑Geräten erfordert eine aggressive, prompt‑bewusste Dynamik, um Rechenaufwand zu reduzieren, ohne die Qualität zu verlieren. Traditionelle Ansätze, die ein statisches oder predictor‑basiertes Sparsity‑Pattern festlegen, sind entweder zu starr oder verursachen zusätzlichen Laufzeitaufwand. Zero‑Shot‑Methoden, die lediglich auf Statistiken aus einem einzelnen Prompt beruhen, scheitern häufig bei kurzen Eingaben oder bei langen Generierungsaufgaben.