Magnitude im Embedding: Wie die Größe von Vektoren das Lernen verbessert

In der kontrastiven Lernforschung wird häufig die Kosinusähnlichkeit eingesetzt, die implizit annimmt, dass die Größe (Magnitude) eines Embeddings lediglich Rauschen darstellt. Ein neues Papier von ArXiv (2602.09229v1) untersucht diese Annahme systematisch und zeigt, dass die Magnitude tatsächlich wertvolle Informationen trägt.

Die Autoren führen ein 2×2‑Ablationsdesign durch, bei dem die Normalisierung sowohl auf der Eingabe‑ als auch auf der Ausgabeseite unabhängig voneinander gesteuert wird. Dabei werden sowohl Text‑ als auch Bildmodelle analysiert. Die Ergebnisse liefern drei zentrale Erkenntnisse.

Erstens korreliert die Magnitude des Ausgabewerts (z. B. eines Dokuments) stark mit seiner Relevanz – der Effektgrößenwert (Cohen’s d) kann bis zu 1,80 erreichen. Besonders bei rechenintensiven Aufgaben wie komplexen Text‑Retrieval‑Szenarien entstehen dadurch die größten Leistungssteigerungen.

Zweitens wirken sich Eingabe‑ und Ausgabemagnitude asymmetrisch aus: Die Ausgabemagnitude skaliert direkt die Ähnlichkeitswerte, während die Eingabemagnitude die Trainingsdynamik beeinflusst. Diese Unterscheidung ist entscheidend für die Wahl der Similaritätsmetrik.

Drittens profitieren asymmetrische Aufgaben – etwa Text‑Retrieval oder Retrieval‑Augmented Generation (RAG) – von einer gezielten Magnitude‑Lernstrategie, während symmetrische Aufgaben wie Semantic Text‑Similarity (STS) oder Text‑Bild‑Alignment darunter leiden. Daraus folgt ein „Task‑Symmetrie‑Prinzip“: Die Entscheidung zwischen Kosinus‑ und Punktprodukt hängt davon ab, ob die Aufgabe unterschiedliche Rollen für Eingabe und Ausgabe hat. Durch das Entfernen unnötiger Normalisierungskonventionen lassen sich so kostenfrei signifikante Verbesserungen erzielen.