MixLM steigert LLM‑Ranking um 10‑fach bei gleicher Latenz

Large Language Models (LLMs) sind hervorragend darin, semantische Nuancen zu erfassen und liefern daher beeindruckende Relevanz‑Rankings in Empfehlungssystemen und Suchanwendungen. Ihre große Rechenlast stellt jedoch bei industriellen Anforderungen an Latenz und Durchsatz ein Problem dar, insbesondere bei Cross‑Encoder‑Modellen, die lange Kontext‑Prefills benötigen, um Nutzer‑, Such‑ und Item‑Informationen zu verarbeiten.

Mit dem neuen Framework MixLM wird die Effizienz drastisch erhöht, indem die Eingabekontextlänge reduziert wird, ohne die semantische Stärke der Cross‑Encoder‑Ranker zu verlieren. Anstelle eines reinen Text‑Kontexts nutzt MixLM eine Mischung aus Text‑ und Embedding‑Tokens. Alle Artikel im Katalog werden zunächst in wenigen Embedding‑Tokens kodiert und in einem Near‑Line‑Cache gespeichert. Während der Online‑Inference werden diese Embeddings anstelle der ursprünglichen, tausende Token langen Beschreibungen verwendet, wodurch die Item‑Länge von mehreren tausend Tokens auf nur wenige Embedding‑Tokens reduziert wird.

Die Autoren berichten von einer erfolgreichen Implementierung von MixLM in einer realen Suchanwendung bei LinkedIn. Sie erläutern die Trainingspipelines, die Optimierung der Online‑Serving‑Infrastruktur und zeigen, dass MixLM die Durchsatzrate um das Zehnfache steigert – bei identischer Latenz – und gleichzeitig die Relevanzmetriken unverändert hält.