Reasoning-Modelle verbessern Embedding-Modelle nicht – Studie enthüllt Null‑Effekt

Eine neue Untersuchung auf arXiv (2601.21192v1) zeigt, dass Embedding‑Modelle, die mit Reasoning‑Modellen aus Reinforcement Learning with Verifiable Rewards (RLVR) vortrainiert wurden, keine signifikante Leistungssteigerung gegenüber ihren Basis‑Modellen erzielen. Trotz der zunehmenden Beliebtheit von RLVR‑trainierten Modellen bleibt der Nutzen für semantische Repräsentationen bei gleicher Trainingsroutine unverändert.

Die Forscher haben die MTEB- und BRIGHT-Benchmarks eingesetzt, um die Leistung zu messen, und fanden einen „Null‑Effekt“. Das bedeutet, dass die Embedding‑Modelle, die aus RLVR‑optimierten Backbones initiiert wurden, keine konsistente Verbesserung aufweisen. Diese Erkenntnis widerspricht der Erwartung, dass verbesserte Reasoning‑Fähigkeiten automatisch zu besseren Embeddings führen.

Um das Phänomen zu erklären, entwickelte das Team den HRSA‑Framework (Hierarchical Representation Similarity Analysis). HRSA unterscheidet zwischen Repräsentation, Geometrie und Funktion und zeigt, dass RLVR die lokale Geometrie des latenten Manifolds umorganisiert, aber die globale Struktur und die lineare Lesbarkeit beibehält. Dadurch wird bei anschließendem contrastivem Lernen eine starke Ausrichtung zwischen Basis‑ und Reasoning‑initialisierten Modellen erreicht – ein Prozess, den die Autoren „Manifold Realignment“ nennen.

Die Ergebnisse deuten darauf hin, dass RLVR nicht die semantische Landschaft neu gestaltet, sondern vielmehr Pfade innerhalb einer bestehenden Landschaft optimiert. Im Gegensatz zu Supervised Fine‑Tuning (SFT) bleibt die globale Topologie unverändert, während lokale Anpassungen vorgenommen werden. Diese Einsicht liefert wichtige Hinweise für die zukünftige Entwicklung von Embedding‑ und Reasoning‑Modellen.