Neues multimodales Retrieval: TTE‑v2 setzt Token‑Skalierung ein

Traditionelle multimodale Retrieval-Systeme setzen vorwiegend auf Bi‑Encoder-Architekturen, bei denen die Leistung stark von der Embedding‑Dimension abhängt.

Die neue Variante TTE‑v2 erweitert dieses Konzept, indem sie multimodales Denken nutzt, um vor dem Einbetten zusätzliche informative Tokens zu generieren – und zwar nicht durch größere Modelle, sondern durch einen höheren Token‑Budget.

Durch die Kaskadierung erhält das System zunächst eine schnelle Retrieval‑Schicht, gefolgt von mehreren reasoning‑basierten Reranking‑Schritten. Diese ermöglichen tiefere Interaktionen zwischen Anfrage und Kandidaten, liefern gleichzeitig präzise Supervision für Hard‑Negative‑Mining und das Filtern von False Negatives und schaffen so einen positiven Feedback‑Loop, der den ursprünglichen Retriever stärkt.

Auf dem MMEB‑V2‑Benchmark erzielt TTE‑v2‑7B mit 75,7 % die bisher höchste Genauigkeit. Noch beeindruckender ist, dass die 2‑B‑Version TTE‑v2‑2B die Leistung von 7‑B‑Modellen übertrifft, obwohl sie mit deutlich weniger externen Daten trainiert wurde. Diese Ergebnisse zeigen, dass Token‑basierte Skalierung ein vielversprechendes neues Paradigma für multimodale Retrieval‑Systeme darstellt.