Neues Super-Netzwerk für skalierbare Vision Transformers: Wissensdichte-Stratifizierung
Die gleichzeitige Schulung und Bereitstellung mehrerer Vision‑Transformer‑Modelle für unterschiedliche Ressourcenbeschränkungen ist bislang teuer und ineffizient. Forscher haben daher ein neues Konzept entwickelt: ein vortrainiertes ViT wird in ein „stratifiziertes Wissensdichte‑Supernetzwerk“ umgewandelt, in dem das Wissen hierarchisch über die Gewichte verteilt ist. Dadurch lassen sich beliebige Teilnetzwerke extrahieren, die für jede Modellgröße maximalen Wissensgehalt behalten.
