Word2Vec entschlüsselt: Wie Lernprozesse zu PCA‑basierten Embeddings führen

In einer bahnbrechenden Studie wird endlich erklärt, was Word2Vec wirklich lernt und wie es dies tut. Die Autoren zeigen, dass das Lernproblem in realistischen, praktischen Regimen auf eine ungewichtete Least‑Squares‑Matrixfaktorisierung reduziert werden kann. Durch die Lösung der Gradientenfluss‑Dynamik in geschlossener Form ergibt sich, dass die endgültigen Wortrepräsentationen exakt dem Ergebnis einer Hauptkomponentenanalyse (PCA) entsprechen.

Der Lernprozess von Word2Vec verläuft in diskreten, sequentiellen Schritten. Jeder Schritt erhöht die Rang‑Kapazität der Gewichtsmatrix und senkt gleichzeitig die Verlustfunktion. Gleichzeitig dehnen sich die Einbettungsvektoren in immer höhere Dimensionen aus, bis die Modellkapazität erschöpft ist. Diese schrittweise Expansion führt zu einer klaren, linearen Struktur im latenten Raum, in der interpretierbare Konzepte wie grammatische Kategorien oder semantische Ähnlichkeiten in separaten Unterräumen kodiert werden.

Word2Vec bleibt damit ein klassischer Algorithmus für die Erzeugung dichten Wortvektoren, der über einen kontrastiven Lernmechanismus die semantische Beziehung zwischen Wörtern durch die Winkel zwischen ihren Einbettungen erfasst. Die neue Theorie liefert nun ein quantitatives Fundament, das die bisher beobachteten linearen Muster im Einbettungsraum mathematisch erklärt und die Grundlage für weiterführende Entwicklungen in der Sprachmodellierung legt.