Magnitude im Embedding: Wie die Größe von Vektoren das Lernen verbessert
In der kontrastiven Lernforschung wird häufig die Kosinusähnlichkeit eingesetzt, die implizit annimmt, dass die Größe (Magnitude) eines Embeddings lediglich Rauschen darstellt. Ein neues Papier von ArXiv (2602.09229v1) untersucht diese Annahme systematisch und zeigt, dass die Magnitude tatsächlich wertvolle Informationen trägt.
