Virtuelle Breiten-Netzwerke: Mehr Leistung ohne quadratischen Kostenaufwand

In einer neuen Veröffentlichung auf arXiv wird das Konzept der Virtual Width Networks (VWN) vorgestellt, das es ermöglicht, die Vorteile breiter Repräsentationen zu nutzen, ohne die quadratischen Kosten zu erhöhen, die mit einer größeren versteckten Schicht einhergehen. VWN trennt die Breite der Repräsentation von der Breite des Backbones, sodass der Einbettungsraum erweitert werden kann, während die Rechenleistung des Backbones nahezu konstant bleibt.

Ein umfangreiches Experiment mit einer achtfachen Erweiterung zeigte, dass die Optimierung bei Vorhersagen von nächsten Tokens um mehr als das Doppelte und bei Vorhersagen von zwei nächsten Tokens um das Dreifache beschleunigt wird. Dieser Vorteil wächst im Verlauf des Trainings, da die Verlustlücke zunimmt und das Verhältnis der Konvergenzgeschwindigkeit steigt. Damit ist VWN nicht nur token-effizient, sondern wird mit zunehmender Modellgröße immer wirkungsvoller.

Darüber hinaus wurde eine annähernd logarithmisch lineare Skalierungsrelation zwischen virtueller Breite und Verlustreduktion identifiziert. Diese Beobachtung liefert eine empirische Grundlage und motiviert die weitere Erforschung der virtuellen Breiten-Skalierung als neue Dimension der Effizienz großer Modelle.